Bỏ qua đến nội dung
AI Portal Docs
Trên trang này Một lần gọi mô hình được ghi thế nào 1/11

Chi phí được ghi theo từng lần gọi mô hìnhLệnh gọi mô hìnhModel callMột yêu cầu gửi tới mô hình. Một lượt có thể gọi nhiều lần, và mỗi lần được ghi lại kèm chi phí riêng.Mở trong Thuật ngữ và chỉ được gom theo lượtLượtTurnMọi thứ từ lúc gửi tin nhắn đến khi nhận câu trả lời: kiểm tra, lệnh gọi mô hình, dùng công cụ, tạm dừng chờ bạn, và câu trả lời. Lượt vẫn chạy khi bạn đóng tab.Mở trong Thuật ngữ để hiển thị. Một lượt là một vòng lặp agent gồm nhiều lần gọi, và một bản ghi theo lượt sẽ làm mất thông tin mô hình, tool hay lần thử lại nào đã tiêu tiền.

Quy tắc chính

  1. Mỗi lần gọi mô hình một bản ghi, không bao giờ theo lượt. Lượt, người dùng và phòng ban đều là cách gom trên cùng các bản ghi đó.
  2. Chi phí cộng dồn theo lần gọi mô hình → lượt → người dùng → phòng ban → trung tâm chi phí.
  3. Portal không giữ bảng giá. Mọi mức giá đều lấy từ cổng mô hình.
  4. Bạn chỉ đọc lại được chi phí trong phạm vi của mình. Người xem cấp tổ chức thấy cả tổ chức, trưởng phòng thấy phòng ban, những người khác thấy chính mình.
  5. Việc đọc cuộc trò chuyện của người khác luôn được ghi lại. Nó cần transcript.read, và cần một yêu cầu đã được phê duyệt nếu tổ chức của bạn bắt buộc.

Một lần gọi mô hình được ghi thế nào

  1. Nhận báo cáo sử dụng

    Mỗi báo cáo sử dụng từ luồng agent là một lần gọi mô hình.

  2. Tính giá

    Token được tính theo bốn mức giá của mô hình: đầu vào, đầu ra, đọc cache và ghi cache.

  3. Ghi một lần duy nhất

    Một bản ghi kiểm tra và một lần cập nhật bảng tổng hợp theo ngày được ghi cùng nhau, trong một giao dịch.

  4. Kiểm tra ngân sách

    Tổng mới theo ngày được so với các ngưỡng ngân sách của phòng ban. Xem Ngân sách và chính sách.

Những gì được ghi cho mỗi lần gọi mô hình

Nhóm trườngNội dung
Khi nào và aiThời điểm, người dùng, phòng ban
Cái gì đã chạyAgent, mô hình
Đã dùng gìToken vào, token ra, lượt đọc cache, lượt ghi cache, chi phí, các tool đã gọi
Kết thúc ra saoMột trạng thái tiếp nhận, rồi một kết quả (bên dưới)
Trạng thái tiếp nhậnKết quả
ALLOWED · BLOCKED_MODEL · BLOCKED_QUOTA · BLOCKED_BUDGET · BLOCKED_RATE_LIMIT · BLOCKED_GUARDRAILNOT_ATTEMPTED · SUCCEEDED · PROVIDER_ERROR · CANCELLED

Tin nhắn bị guardrails của tổ chức từ chối trước khi lượt bắt đầu để lại một bản ghi với BLOCKED_GUARDRAIL và NOT_ATTEMPTED, giá bằng không. Mỗi kết quả phát hiện của guardrail được ghi riêng — xem Bản ghi kết quả phát hiện.

Thời gian lưu giữ nội dung prompt và câu trả lời do tổ chức của bạn quy định.

Giá lấy từ đâu

Portal không giữ bảng giá. Một lần đối soát sao chép bốn mức giá mà cổng mô hình công bố cho từng mô hình đang phục vụ vào mục danh mục của mô hình đó: đầu vào thường, đầu ra, và hai mức cần cho prompt có cache. Không có gì khác ghi các mức này, và quản trị viên khi thêm mô hình vào danh mục không bị hỏi về chúng.

Token cache. Lượt đọc cache và lượt ghi cache được đếm bên trong tổng prompt, giống cách cổng mô hình đếm. Chúng không được tính giá như đầu vào thường:

TokenGiá
Đầu vào thườngMức giá đầu vào
Đọc cacheMột phần mười mức giá đầu vào (×0,1)
Ghi cacheMức giá ghi cache, cao hơn giá đầu vào

Vì vậy nếu tính cả prompt theo giá đầu vào thì con số sẽ thấp hơn thực tế.

Màn hình hiển thị gì. Màn hình chi tiêu và nhật ký kiểm tra hiển thị prompt đã trừ phần đọc cache, và giữ tổng đầy đủ khi rê chuột vào, vì hoá đơn được đối chiếu theo token mới. Bảng tổng hợp giữ cả hai bộ đếm, còn giới hạn tốc độ tính toàn bộ prompt.

Khi thiếu giá, portal từ chối thay vì đoán:

Từ chốiKhi nào
Mô hình không có giá đầu vào hoặc đầu ra không phục vụ lượt nàoTrong khoảng giữa lúc thêm mô hình vào danh mục và lần đối soát giúp nó phục vụ được; báo cáo đối soát nêu tên các mô hình đó
Bộ đếm cache của mô hình không có giá cache sẽ dừng lần gọiThay vì tính các token đó bằng không

Chi phí được cộng dồn thế nào

Mỗi cấp là một cách gom trên cùng các bản ghi theo từng lần gọi:

  1. Lần gọi mô hình — chính bản ghi.
  2. Lượt — các lần gọi của một vòng lặp agent, được gom để hiển thị.
  3. Người dùng — người mà lần gọi chạy cho.
  4. Phòng ban — nơi chịu chi phí của lần gọi.
  5. Trung tâm chi phí — được ghi trên mỗi lần gọi, để có thể báo cáo chi tiêu theo trung tâm chi phí.

Phí guardrail được giữ thành khoản phí riêng theo ngày cho từng người dùng và phòng ban, và các màn hình sử dụng cộng chúng vào chi tiêu mô hình.

Đọc lại chi phí

  • Các dòng được phân trang, mỗi dòng cho một phòng ban, người dùng, mô hình và ngày.
  • Số liệu trên dashboard là tổng hợp trong một khoảng thời gian, gom theo ngày, phòng ban và mô hình — một tháng dữ liệu tổng hợp lên tới hàng nghìn dòng, nhiều hơn mọi trang có thể trả về.
  • Số người hoạt động riêng biệt không thể cộng từ các khoảng nhỏ hơn, nên số theo ngày và theo tuần là hai truy vấn riêng.

Chi tiêu trên khoá mô hình cá nhân. Chi tiêu trên mô hình được phục vụ bằng một khoá mô hìnhKhoá mô hình (BYOK)Model key (BYOK)Khoá của nhà cung cấp mô hình ngoài Bedrock, do cá nhân hoặc phòng ban dán vào. Lệnh gọi vẫn qua cổng của portal nên được tính phí và kiểm toán như mọi lệnh gọi khác.Mở trong Thuật ngữ do chủ sở hữu tự dán vào được tách riêng theo chính mô hình đó, vì mỗi khoá như vậy mang theo các mục danh mục riêng. Bảng chi tiết theo mô hình liệt kê và đánh dấu chúng, và các tổng ngân sách dùng để kích hoạt cảnh báo của phòng ban không tính chúng — quỹ của phòng ban không trả đồng nào cho phần này.

Đọc nội dung tin nhắn

Cuộc trò chuyện của người khác chỉ đọc được bằng transcript.read. Quyền này mở ba lối truy cập:

Lối truy cậpGhi lại gì
Danh sách mọi cuộc trò chuyện trong tổ chứcKhông ghi gì — danh sách không chứa nội dung tin nhắn
Bản ghi hội thoại của một cuộc trò chuyệnMột bản ghi truy cập nội dung
Các tệp do một cuộc trò chuyện tạo raMột bản ghi truy cập nội dung cho mỗi lần đọc tệp
  • Bản ghi truy cập nội dung nêu người đọc, chủ sở hữu, thứ đã đọc và địa chỉ của người gọi. Khi người đọc chính là chủ sở hữu, việc tự đọc không được ghi lại.
  • Mở tệp để xem trên màn hình đi qua cùng lối với lưu tệp, nên cả hai để lại cùng một bản ghi.
  • Bản ghi hội thoại chỉ nêu tệp đính kèm bằng id, nên transcript.read cũng đọc được tên, loại và kích thước tệp. Lần đọc đó không ghi gì: lần đọc bản ghi hội thoại nêu tên tệp đã ghi lại việc tiết lộ, còn hiển thị ảnh hay mở tài liệu sẽ ghi lần đọc tệp của riêng nó.
  • Quy tắc phạm vi hiển thị riêng của artifact bị bỏ qua ở đây. Artifact được xác định theo cuộc trò chuyện đã tạo ra nó, nên không lần đọc nào chạm tới artifact mà cuộc trò chuyện đó không tạo ra, và việc đọc được ghi giống như đọc tệp đính kèm.

Đăng nhập thay

Bắt đầu và kết thúc đăng nhập thay (“View as”) đều ghi một sự kiện quản trị, nêu quản trị viên là người thực hiện và người được đăng nhập thay là đối tượng; các bản ghi được tạo trong khoảng giữa mang id của người được đăng nhập thay, nên người kiểm tra đọc theo khung thời gian giữa hai sự kiện đó.

Sự kiện bắt đầu mang thời điểm khung thời gian đóng lại, sự kiện kết thúc mang thời điểm nó mở ra. Sự kiện kết thúc được ghi ở mọi cách thoát: bấm nút, hết nửa giờ, và đăng xuất khi khung thời gian đang mở.

Các bản ghi kiểm tra khác

Bản ghiMục đích
Kiểm tra theo lần gọiMột bản ghi cho mỗi lần gọi mô hình
Tổng hợp theo ngàyChi phí cộng dồn, cùng các bộ đếm prompt, đọc cache, ghi cache và phần hoàn thành, theo từng nhóm
Sự kiện quản trịMột thay đổi về quản trị hoặc cấu hình: ghi qua SCIM, ghi bộ nhớ, hai đầu của một lần đăng nhập thay, yêu cầu truy cập và bật/tắt phê duyệt
Sự kiện truy cập nội dungAi đã đọc một cuộc trò chuyện, bản ghi hội thoại, tệp hoặc bản xuất nhật ký kiểm tra

Việc áp dụng ngân sách, vốn dựa trên các bản ghi này, được mô tả trong Ngân sách và chính sách. Để tìm kiếm và xuất các bản ghi, xem Nhật ký kiểm tra.

Vì sao hoạt động như vậy

Vì sao mỗi lần gọi mô hình một bản ghi?

Một lượt là một vòng lặp agent gồm nhiều lần gọi mô hình. Một bản ghi cho cả lượt sẽ làm mất thông tin mô hình, tool hay lần thử lại nào đã tiêu tiền; bản ghi theo lần gọi giữ được điều đó, còn tổng của lượt chỉ là một cách gom.

Vì sao portal không có bảng giá?

Cổng mô hình đã công bố mức giá cho từng mô hình nó phục vụ, nên portal sao chép chúng qua một lần đối soát thay vì bắt quản trị viên tự nhập. Mô hình không có giá sẽ bị từ chối thay vì được tính bằng không.

Vì sao hỏi về người khác lại nhận câu trả lời về chính bạn?

Một lần đọc đã thu hẹp mà báo lỗi với người không có trong phạm vi sẽ để lộ người đó có tồn tại hay không. Trả lời về chính người gọi thì không để lộ gì.

Bên trong hệ thống

Đường ghi trực tiếp

Một chunk usage từ luồng agent là một lần gọi mô hình: một dòng kiểm tra cộng một lần upsert bảng tổng hợp theo ngày, trong một giao dịch duy nhất, thuộc schema usage của portal.

Thuộc tínhLý do
Ràng buộc unique của bảng tổng hợp là thật và mọi cột trong đó đều NOT NULLHai lần gọi đồng thời cho cùng một nhóm đều được cộng dồn đúng
Dòng kiểm tra chụp lại tên agent, tên mô hình và trung tâm chi phíNó vẫn tự mô tả được sau khi các dòng gốc bị xoá theo chính sách lưu giữ
Run id liên kết với lượt theo giá trị, không bao giờ bằng khoá ngoạiHai schema có lịch lưu giữ độc lập
Cách nhận ra mô hình dùng khoá cá nhân

Không cột nào trên dòng kiểm tra hay bảng tổng hợp ghi rằng mô hình được phục vụ bằng một khoá tự dán; phép join với danh mục mô hình trả lời điều đó.

Liên quan

Trang này có hữu ích không?
AI Portal Docs
EN VI