Kiểm tra và theo dõi chi phí
Những gì được ghi cho mỗi lần gọi mô hình, giá lấy từ đâu, chi phí được cộng dồn và đọc lại thế nào, và việc đọc cuộc trò chuyện của người khác được ghi nhật ký ra sao.
Chi phí được ghi theo từng lần gọi mô hìnhLệnh gọi mô hìnhModel callMột yêu cầu gửi tới mô hình. Một lượt có thể gọi nhiều lần, và mỗi lần được ghi lại kèm chi phí riêng.Mở trong Thuật ngữ và chỉ được gom theo lượtLượtTurnMọi thứ từ lúc gửi tin nhắn đến khi nhận câu trả lời: kiểm tra, lệnh gọi mô hình, dùng công cụ, tạm dừng chờ bạn, và câu trả lời. Lượt vẫn chạy khi bạn đóng tab.Mở trong Thuật ngữ để hiển thị. Một lượt là một vòng lặp agent gồm nhiều lần gọi, và một bản ghi theo lượt sẽ làm mất thông tin mô hình, tool hay lần thử lại nào đã tiêu tiền.
Quy tắc chính
- Mỗi lần gọi mô hình một bản ghi, không bao giờ theo lượt. Lượt, người dùng và phòng ban đều là cách gom trên cùng các bản ghi đó.
- Chi phí cộng dồn theo lần gọi mô hình → lượt → người dùng → phòng ban → trung tâm chi phí.
- Portal không giữ bảng giá. Mọi mức giá đều lấy từ cổng mô hình.
- Bạn chỉ đọc lại được chi phí trong phạm vi của mình. Người xem cấp tổ chức thấy cả tổ chức, trưởng phòng thấy phòng ban, những người khác thấy chính mình.
- Việc đọc cuộc trò chuyện của người khác luôn được ghi lại. Nó cần
transcript.read, và cần một yêu cầu đã được phê duyệt nếu tổ chức của bạn bắt buộc.
Một lần gọi mô hình được ghi thế nào
-
Nhận báo cáo sử dụng
Mỗi báo cáo sử dụng từ luồng agent là một lần gọi mô hình.
-
Tính giá
Token được tính theo bốn mức giá của mô hình: đầu vào, đầu ra, đọc cache và ghi cache.
-
Ghi một lần duy nhất
Một bản ghi kiểm tra và một lần cập nhật bảng tổng hợp theo ngày được ghi cùng nhau, trong một giao dịch.
-
Kiểm tra ngân sách
Tổng mới theo ngày được so với các ngưỡng ngân sách của phòng ban. Xem Ngân sách và chính sách.
Những gì được ghi cho mỗi lần gọi mô hình
| Nhóm trường | Nội dung |
|---|---|
| Khi nào và ai | Thời điểm, người dùng, phòng ban |
| Cái gì đã chạy | Agent, mô hình |
| Đã dùng gì | Token vào, token ra, lượt đọc cache, lượt ghi cache, chi phí, các tool đã gọi |
| Kết thúc ra sao | Một trạng thái tiếp nhận, rồi một kết quả (bên dưới) |
| Trạng thái tiếp nhận | Kết quả |
|---|---|
ALLOWED · BLOCKED_MODEL · BLOCKED_QUOTA · BLOCKED_BUDGET · BLOCKED_RATE_LIMIT · BLOCKED_GUARDRAIL | NOT_ATTEMPTED · SUCCEEDED · PROVIDER_ERROR · CANCELLED |
Tin nhắn bị guardrails của tổ chức từ chối trước khi lượt bắt đầu để lại một bản ghi với BLOCKED_GUARDRAIL và NOT_ATTEMPTED, giá bằng không. Mỗi kết quả phát hiện của guardrail được ghi riêng — xem Bản ghi kết quả phát hiện.
Thời gian lưu giữ nội dung prompt và câu trả lời do tổ chức của bạn quy định.
Giá lấy từ đâu
Portal không giữ bảng giá. Một lần đối soát sao chép bốn mức giá mà cổng mô hình công bố cho từng mô hình đang phục vụ vào mục danh mục của mô hình đó: đầu vào thường, đầu ra, và hai mức cần cho prompt có cache. Không có gì khác ghi các mức này, và quản trị viên khi thêm mô hình vào danh mục không bị hỏi về chúng.
Token cache. Lượt đọc cache và lượt ghi cache được đếm bên trong tổng prompt, giống cách cổng mô hình đếm. Chúng không được tính giá như đầu vào thường:
| Token | Giá |
|---|---|
| Đầu vào thường | Mức giá đầu vào |
| Đọc cache | Một phần mười mức giá đầu vào (×0,1) |
| Ghi cache | Mức giá ghi cache, cao hơn giá đầu vào |
Vì vậy nếu tính cả prompt theo giá đầu vào thì con số sẽ thấp hơn thực tế.
Màn hình hiển thị gì. Màn hình chi tiêu và nhật ký kiểm tra hiển thị prompt đã trừ phần đọc cache, và giữ tổng đầy đủ khi rê chuột vào, vì hoá đơn được đối chiếu theo token mới. Bảng tổng hợp giữ cả hai bộ đếm, còn giới hạn tốc độ tính toàn bộ prompt.
Khi thiếu giá, portal từ chối thay vì đoán:
| Từ chối | Khi nào |
|---|---|
| Mô hình không có giá đầu vào hoặc đầu ra không phục vụ lượt nào | Trong khoảng giữa lúc thêm mô hình vào danh mục và lần đối soát giúp nó phục vụ được; báo cáo đối soát nêu tên các mô hình đó |
| Bộ đếm cache của mô hình không có giá cache sẽ dừng lần gọi | Thay vì tính các token đó bằng không |
Chi phí được cộng dồn thế nào
Mỗi cấp là một cách gom trên cùng các bản ghi theo từng lần gọi:
- Lần gọi mô hình — chính bản ghi.
- Lượt — các lần gọi của một vòng lặp agent, được gom để hiển thị.
- Người dùng — người mà lần gọi chạy cho.
- Phòng ban — nơi chịu chi phí của lần gọi.
- Trung tâm chi phí — được ghi trên mỗi lần gọi, để có thể báo cáo chi tiêu theo trung tâm chi phí.
Phí guardrail được giữ thành khoản phí riêng theo ngày cho từng người dùng và phòng ban, và các màn hình sử dụng cộng chúng vào chi tiêu mô hình.
Đọc lại chi phí
- Các dòng được phân trang, mỗi dòng cho một phòng ban, người dùng, mô hình và ngày.
- Số liệu trên dashboard là tổng hợp trong một khoảng thời gian, gom theo ngày, phòng ban và mô hình — một tháng dữ liệu tổng hợp lên tới hàng nghìn dòng, nhiều hơn mọi trang có thể trả về.
- Số người hoạt động riêng biệt không thể cộng từ các khoảng nhỏ hơn, nên số theo ngày và theo tuần là hai truy vấn riêng.
Chi tiêu trên khoá mô hình cá nhân. Chi tiêu trên mô hình được phục vụ bằng một khoá mô hìnhKhoá mô hình (BYOK)Model key (BYOK)Khoá của nhà cung cấp mô hình ngoài Bedrock, do cá nhân hoặc phòng ban dán vào. Lệnh gọi vẫn qua cổng của portal nên được tính phí và kiểm toán như mọi lệnh gọi khác.Mở trong Thuật ngữ do chủ sở hữu tự dán vào được tách riêng theo chính mô hình đó, vì mỗi khoá như vậy mang theo các mục danh mục riêng. Bảng chi tiết theo mô hình liệt kê và đánh dấu chúng, và các tổng ngân sách dùng để kích hoạt cảnh báo của phòng ban không tính chúng — quỹ của phòng ban không trả đồng nào cho phần này.
Đọc nội dung tin nhắn
Cuộc trò chuyện của người khác chỉ đọc được bằng transcript.read. Quyền này mở ba lối truy cập:
| Lối truy cập | Ghi lại gì |
|---|---|
| Danh sách mọi cuộc trò chuyện trong tổ chức | Không ghi gì — danh sách không chứa nội dung tin nhắn |
| Bản ghi hội thoại của một cuộc trò chuyện | Một bản ghi truy cập nội dung |
| Các tệp do một cuộc trò chuyện tạo ra | Một bản ghi truy cập nội dung cho mỗi lần đọc tệp |
- Bản ghi truy cập nội dung nêu người đọc, chủ sở hữu, thứ đã đọc và địa chỉ của người gọi. Khi người đọc chính là chủ sở hữu, việc tự đọc không được ghi lại.
- Mở tệp để xem trên màn hình đi qua cùng lối với lưu tệp, nên cả hai để lại cùng một bản ghi.
- Bản ghi hội thoại chỉ nêu tệp đính kèm bằng id, nên
transcript.readcũng đọc được tên, loại và kích thước tệp. Lần đọc đó không ghi gì: lần đọc bản ghi hội thoại nêu tên tệp đã ghi lại việc tiết lộ, còn hiển thị ảnh hay mở tài liệu sẽ ghi lần đọc tệp của riêng nó. - Quy tắc phạm vi hiển thị riêng của artifact bị bỏ qua ở đây. Artifact được xác định theo cuộc trò chuyện đã tạo ra nó, nên không lần đọc nào chạm tới artifact mà cuộc trò chuyện đó không tạo ra, và việc đọc được ghi giống như đọc tệp đính kèm.
Đăng nhập thay
Bắt đầu và kết thúc đăng nhập thay (“View as”) đều ghi một sự kiện quản trị, nêu quản trị viên là người thực hiện và người được đăng nhập thay là đối tượng; các bản ghi được tạo trong khoảng giữa mang id của người được đăng nhập thay, nên người kiểm tra đọc theo khung thời gian giữa hai sự kiện đó.
Sự kiện bắt đầu mang thời điểm khung thời gian đóng lại, sự kiện kết thúc mang thời điểm nó mở ra. Sự kiện kết thúc được ghi ở mọi cách thoát: bấm nút, hết nửa giờ, và đăng xuất khi khung thời gian đang mở.
Các bản ghi kiểm tra khác
| Bản ghi | Mục đích |
|---|---|
| Kiểm tra theo lần gọi | Một bản ghi cho mỗi lần gọi mô hình |
| Tổng hợp theo ngày | Chi phí cộng dồn, cùng các bộ đếm prompt, đọc cache, ghi cache và phần hoàn thành, theo từng nhóm |
| Sự kiện quản trị | Một thay đổi về quản trị hoặc cấu hình: ghi qua SCIM, ghi bộ nhớ, hai đầu của một lần đăng nhập thay, yêu cầu truy cập và bật/tắt phê duyệt |
| Sự kiện truy cập nội dung | Ai đã đọc một cuộc trò chuyện, bản ghi hội thoại, tệp hoặc bản xuất nhật ký kiểm tra |
Việc áp dụng ngân sách, vốn dựa trên các bản ghi này, được mô tả trong Ngân sách và chính sách. Để tìm kiếm và xuất các bản ghi, xem Nhật ký kiểm tra.
Vì sao hoạt động như vậy
Vì sao mỗi lần gọi mô hình một bản ghi?
Một lượt là một vòng lặp agent gồm nhiều lần gọi mô hình. Một bản ghi cho cả lượt sẽ làm mất thông tin mô hình, tool hay lần thử lại nào đã tiêu tiền; bản ghi theo lần gọi giữ được điều đó, còn tổng của lượt chỉ là một cách gom.
Vì sao portal không có bảng giá?
Cổng mô hình đã công bố mức giá cho từng mô hình nó phục vụ, nên portal sao chép chúng qua một lần đối soát thay vì bắt quản trị viên tự nhập. Mô hình không có giá sẽ bị từ chối thay vì được tính bằng không.
Vì sao hỏi về người khác lại nhận câu trả lời về chính bạn?
Một lần đọc đã thu hẹp mà báo lỗi với người không có trong phạm vi sẽ để lộ người đó có tồn tại hay không. Trả lời về chính người gọi thì không để lộ gì.
Bên trong hệ thống
Đường ghi trực tiếp
Một chunk usage từ luồng agent là một lần gọi mô hình: một dòng kiểm tra cộng một lần upsert bảng tổng hợp theo ngày, trong một giao dịch duy nhất, thuộc schema usage của portal.
| Thuộc tính | Lý do |
|---|---|
Ràng buộc unique của bảng tổng hợp là thật và mọi cột trong đó đều NOT NULL | Hai lần gọi đồng thời cho cùng một nhóm đều được cộng dồn đúng |
| Dòng kiểm tra chụp lại tên agent, tên mô hình và trung tâm chi phí | Nó vẫn tự mô tả được sau khi các dòng gốc bị xoá theo chính sách lưu giữ |
| Run id liên kết với lượt theo giá trị, không bao giờ bằng khoá ngoại | Hai schema có lịch lưu giữ độc lập |
Cách nhận ra mô hình dùng khoá cá nhân
Không cột nào trên dòng kiểm tra hay bảng tổng hợp ghi rằng mô hình được phục vụ bằng một khoá tự dán; phép join với danh mục mô hình trả lời điều đó.