Ngân sách và chính sách

Chính sách quy định một người được chi bao nhiêu và nhanh đến đâu: ngân sáchNgân sáchBudgetSố tiền mỗi tháng một cấp được chi cho mô hình — mặc định của tổ chức, phòng ban hoặc cá nhân. Cấp cụ thể nhất đã được đặt sẽ thắng.Mở trong Thuật ngữ, giới hạn tốc độ và hạn mức token hằng tháng. Các số này đến từ một trong ba cấp, và cấp cụ thể nhất thắng. Việc ai được chọn mô hình nào được quyết định riêng.

Quy tắc chính

1. Cấp cụ thể nhất thắng mọi con số: cá nhân, rồi phòng ban, rồi tổ chức.
2. Hạn mức riêng thắng theo cả hai chiều — cao hơn hay thấp hơn mức của phòng ban.
3. Ngân sách phòng ban chia đều cho những người đang hoạt động được tính phí ở đó.
4. Cảnh báo ở 80 %, dừng ở 100 % — giá trị mặc định, đổi được ở từng cấp.
5. Chỉ phòng ban mới chặn mô hình. Hạn mức riêng chỉ mang tiền và tốc độ.

Ba cấp, một cấp thắng

Tổ chức, phòng ban và từng cá nhân đều có thể giữ cùng một bộ số. Với mỗi yêu cầu, portal lấy bộ cụ thể nhất đang tồn tại và dùng toàn bộ số của nó — không bao giờ trộn ngân sách cấp này với giới hạn cấp khác. Cấp nào không có số riêng sẽ rơi xuống cấp phía trên.

Cấp nào áp dụng cho…

Tran Mai Le Minh Pham Lan

Giá trị ví dụ

Mặc định của tổ chức

Mọi phòng ban chưa có số riêng

200 USD / tháng

Bị ghi đè

Phòng ban · Sales

Mọi người tính phí cho phòng ban, trừ người có hạn mức riêng

300 USD chia cho 3 người

Bị ghi đè

Cá nhân · Tran Mai

Một người, dù chi tiêu ở đâu

5,000 USD / tháng

Áp dụng

Tran Mai có hạn mức riêng, nên hạn mức đó thắng — với toàn bộ các con số, dù cao hơn nhiều so với phòng ban. Chi phí của cô vẫn tính cho Sales, và các mô hình Sales chặn vẫn bị chặn với cô.

Cấp	Áp dụng cho
Tổ chức	Mọi phòng ban không có số riêng
Phòng ban	Mọi người được tính phí ở đó, trừ người có hạn mức riêng
Cá nhân	Riêng người đó, dù chi ở đâu

Hạn mức riêng được ghi theo hai cách: người có policy.manage đặt cho người đó trong Users (người dùng), hoặc duyệt yêu cầu Ask for a higher budget (xin thêm ngân sách) của họ. Yêu cầu được duyệt ghi cùng loại hạn mức, mang ngân sách được xin cùng các số khác mà người đó đang có.

Nếu không cấp nào có số, yêu cầu bị từ chối thay vì chạy không giới hạn.

Phần của bạn trong ngân sách phòng ban

Ngân sách phòng ban chia đều cho các chỗ ngồi đang hoạt động — còn hiệu lực ở nhà cung cấp danh tính và không bị tạm ngưng trong portal — làm tròn xuống đến cent. 300 USD và ba người thì mỗi người được 100.

Tính phần chia Tương tác

Ngân sách phòng ban mỗi tháng USD Số người đang hoạt động tính phí ở đây người Một người trong số đó có hạn mức riêng

Phần của mỗi người

100.00USD / tháng

300 ÷ 3 người = 100.00

100.00100.00hạn mức riêng

Người có hạn mức riêng vẫn được tính vào số người, nhưng chi tiêu từ hạn mức của mình — nên không lấy gì từ quỹ chung, và phần của người khác không đổi khi hạn mức được cấp.

• Không ai nhập phần chia bằng tay: nó luôn được tính từ ngân sách và số người, nên cập nhật ngay khi có người vào hoặc rời.
• Phòng ban không có chỗ ngồi hoạt động nào gửi toàn bộ quỹ. Phòng ban không có chính sách nào áp dụng thì không gửi giới hạn thành viên.
• Phần chia làm tròn dưới một cent được gửi là 0,01, vì gateway hiểu 0 là “không giới hạn”.
• Người có hạn mức riêng vẫn được tính vào số người, nhưng chi từ bản ghi riêng — họ không lấy gì từ quỹ chung, và cấp hạn mức riêng không làm thay đổi phần của người khác.

Ai được chọn mô hình nào

Quyền dùng mô hình được phân giải riêng với tiền, và hai việc không bao giờ gộp. Mọi mô hình trong danh mục đều mở cho mọi người; phòng ban thu hẹp bằng cách chặn những mô hình mình bỏ. Hạn mức riêng không bao giờ đổi được mô hình một người dùng.

Quy tắc	Chi tiết
Chỉ chặn được mô hình văn bản (chat)	Embedding và tác vụ nền là gán cấp tổ chức
Phải còn lại ít nhất một	Chặn mô hình chat cuối cùng đang phục vụ bị từ chối
Mô hình bị tắt	Biến khỏi mọi bộ chọn. Lệnh chặn trên nó vẫn được giữ và áp dụng lại khi bật lại
Nơi kiểm tra	Khi lượt bắt đầu, khi phân giải quyền hiệu lực của agent, và khi tạo hoặc sửa agent
Nơi thiết lập	Chỉ ở tab Models của phòng ban; màn hình danh mục chỉ hiển thị phòng ban nào chặn, không sửa được

Giới hạn tốc độ

Mỗi cấp còn giữ hai trần theo phút: số yêu cầu mỗi phút (RPM) và số token mỗi phút (TPM). Chúng lấy từ cùng bộ số thắng với ngân sách.

Giới hạn theo phút tự hết, nên một lượt chịu được ba lần bị từ chối rồi mới bỏ cuộc. Ngân sách đã hết thì hết cho đến cuối tháng, nên lượt bỏ cuộc ngay lần đầu.

Cảnh báo và dừng

Hai ngưỡng trên mỗi ngân sách quyết định điều gì xảy ra khi chi tiêu tăng. Cả hai lấy từ cùng cấp với ngân sách được so, nên một tỉ lệ phần trăm không bao giờ áp lên con số do cấp khác ghi.

Cảnh báo và dừng Tương tác Trong ngân sách

Sales · tháng 10 192.40 / 300.00 USD · 64%

80% cảnh báo 100% dừng

0Đặt lại ngày 1/11

Đã chi

Cảnh báo

Hệ thống phát cảnh báo ngân sách. Không yêu cầu nào bị từ chối — mọi người vẫn làm việc bình thường.

Dừng

Các lệnh gọi mô hình mới bị từ chối cho đến khi ngân sách đặt lại vào tháng sau. Câu trả lời đang chạy sẽ dừng ở lệnh gọi kế tiếp.

Ngưỡng	Mặc định	Tác dụng
Cảnh báo mềmCảnh báo (ngưỡng mềm)Alert (soft limit)Mức, mặc định 80%, mà hệ thống phát cảnh báo ngân sách. Không yêu cầu nào bị từ chối.Mở trong Thuật ngữ	80 %	Một cảnh báo ngân sách được tạo. Không từ chối gì
Dừng cứng	100 %	Một cảnh báo ngân sách được tạo và các lời gọi mô hình mới bị từ chối đến khi ngân sách đặt lại vào tháng sau

Phòng ban đặt dừng ở 90 % thì bị từ chối ở 90 %. Ngưỡng được kiểm tra sau mỗi lời gọi mô hình, hai lần: một lần cho chi tiêu từ đầu tháng của phòng ban, và một lần cho riêng người đó so với con số thực sự sẽ dừng họ — hạn mức riêng, hoặc phần chia. Lần kiểm tra thứ hai giúp không ai bị dừng ở một mức mà chưa có gì cảnh báo trước.

Phí guardrail được tính vào chi tiêu và cảnh báo ngân sách của phòng ban. Dừng cứng ở gateway chỉ tính chi phí mô hình.

Ai cũng có thể xem phần của mình trong Settings › Usage & budget (cài đặt › mức dùng và ngân sách) và xin thêm ngay tại đó.

Khoá tự trả (BYOK)

Phòng ban hoặc cá nhân có thể dán khoá mô hình của riêng mình (BYOK hoạt động thế nào). Lời gọi trên mô hình do khoá đó phục vụ được chủ khoá trả, không trừ ngân sách nào của portal:

• Nó thắng cả hạn mức riêng, vốn chỉ nói ngân sách portal của ai trả.
• Trần của nó là mức tháng riêng của khoá; hai trần tốc độ lấy từ chính sách của chủ khoá.
• Chi tiêu đó không tính vào hai phép cộng cảnh báo của phòng ban (quỹ chung và phần chia).
• Báo cáo vẫn ghi tên phòng ban, và bảng phân tích theo mô hình đánh dấu đó là khoá riêng.

Vì sao lại như vậy

Bên dưới

Liên quan