Audit log
Audit log ghi gì về lần gọi mô hình, hội thoại, thay đổi cấu hình và phát hiện của guardrail, và cách xuất dữ liệu.
Quy tắc chính
- Mỗi dòng là một lần gọi mô hình. Một lượt sáu lần gọi là sáu dòng; cột chi phí cộng chúng lại.
- Không có nội dung tin nhắn. Lần gọi mô hình và thay đổi cấu hình không bao giờ chứa nội dung. Conversations là lối vào duy nhất, và mọi lần đọc đều được ghi.
- Không gì bị sửa hay xoá. Log là bất biến, kể cả những dòng do việc đọc ghi ra.
| Quyền hạn | Mở |
|---|---|
audit.view | Log |
audit.export | Xuất CSV |
transcript.read | Tab Conversations (Compliance Reviewer có quyền này) |
transcript.approve | Duyệt việc đọc hội thoại |
Log có bốn tab: Mô hình calls, Conversations, Configuration changes và Guardrails.
Mô hình calls
Phía trên các dòng là số lần gọi đang xem, số được phép và số bị chặn.
| Cột | Nghĩa |
|---|---|
| Time | Thời điểm gọi |
| Person | Ai gọi, và phòng ban của họ, nơi chi phí được tính |
| Agent | Agent, hoặc việc chạy nền của portal khi không có agent |
| Mô hình | Mô hình trả lời |
| Tokens in / out, Cost | Số gateway ghi nhận. Chi phí là dấu gạch khi lần gọi bị từ chối |
| Tools | Những gì lần gọi đã dùng |
| Outcome | Được phục vụ hay bị từ chối; dòng bị từ chối nêu lý do |
Việc nạp tài liệu hiện thành các dòng không có agent, để một lần tải lên kho tri thức vẫn truy được về phòng ban đã trả tiền.
Bảng chi tiết hiện dải trạng thái, phòng ban chịu phí, token vào (phần lấy từ cache trong ngoặc) và ra, thời gian chạy, và từng công cụ đã dùng kèm nơi chạy, thời gian, chi phí và kết quả. Show this person’s calls lọc theo cùng người hoặc cùng agent.
Giá trị Outcome
| Outcome | Nghĩa |
|---|---|
| Served | Mô hình đã trả lời |
| Refused · budget | Phần chia của người đó hoặc ngân sách phòng ban đã hết |
| Refused · quota | Đã chạm hạn mức token |
| Refused · rate limit | Quá nhiều yêu cầu hoặc token trong một phút |
| Refused · mô hình blocked | Phòng ban của người đó đã tắt mô hình này |
| Refused · guardrail | Một quy tắc guardrail đã chặn yêu cầu |
| Provider error | Nhà cung cấp mô hình không trả lời được |
| Cancelled | Câu trả lời bị dừng trước khi xong |
Bộ lọc
| Bộ lọc | Lựa chọn |
|---|---|
| Khoảng thời gian | Today, 7 days, 30 days (mặc định), All, hoặc Custom với ngày bắt đầu và kết thúc |
| Người, phòng ban, agent | Everyone / Any department / mọi agent, hoặc một |
| Outcome | Any outcome, Served, Provider error, Cancelled, hoặc Refused với mọi lý do hay một lý do |
Bộ lọc nằm trong địa chỉ trang, nên liên kết chép ra mở đúng danh sách đó. Bấm Show more để tải thêm.
Xuất dữ liệu
Export N rows tải các lần gọi mô hình theo bộ lọc dưới dạng CSV, kèm tên và email từng người và tên từng phòng ban. Cần audit.export.
Conversations
Mỗi dòng là một hội thoại: tiêu đề, chủ sở hữu, agent, số tin nhắn, chi phí, lượt thích/không thích, thời điểm bắt đầu và hoạt động gần nhất, và Access. Bộ lọc: Everyone hoặc một người, Any department hoặc một phòng ban, 7 days, 30 days hoặc All, và Current hoặc Include deleted (hội thoại đã xoá còn lại cho tới khi tác vụ xoá chạy). Ô tìm kiếm chỉ khớp tiêu đề.
Mở một dòng sẽ ghi lại ai đọc, của ai và khi nào; bảng hiện điều đó trước dòng đầu tiên. Nếu tổ chức yêu cầu phê duyệt, một dòng chỉ mở được dưới một quyền đã được admin thứ hai duyệt; Access cho biết dòng nào bạn mở được, Awaiting approval, hay cần gửi yêu cầu. Xem Access requests.
Hội thoại được vẽ đúng như người đó đã thấy: cùng câu hỏi, câu trả lời và dòng tóm tắt công cụ, mở ra được để xem chi tiết. Một dòng giữa các lượt hiện giờ, mô hình và chi phí câu trả lời đó. Câu trả lời lỗi, hết giờ hay bị dừng đều ghi rõ. Suy luận thô không bao giờ hiện, chỉ có tóm tắt suy nghĩ mà người đó đã thấy.
Bảng bên liệt kê các tệp hội thoại tạo ra, kèm kích thước và phiên bản. Tệp mở trong sandbox, và mỗi lần đọc được ghi dưới tên người xem. Chỉ tệp của hội thoại đó mới truy cập được.
Configuration changes
Ai đã đổi ngân sách, vai trò, phòng ban hay thông tin xác thực, và khi nào. Khi admin hành động trong lúc View as một người, admin được ghi là người thực hiện và người kia là đối tượng.
Guardrails
Mỗi dòng là một phát hiện, mới nhất trước: thời điểm, người và phòng ban, Where (văn bản vào từ tin nhắn, kết quả công cụ, tài liệu hay câu trả lời), Caught (loại quy tắc và chủ đề khớp), hành động (flag, mask hoặc block) và engine. Lần kiểm tra không chạy được ghi Check could not run. Văn bản khớp không bao giờ được lưu.
Xem Audit và chi phí.