Ngân sách & hạn mức
Ngân sách, hạn mức token, giới hạn tốc độ và ngưỡng cảnh báo của tổ chức, của một phòng ban, và của riêng một người.
Ngân sách được áp ở gateway mô hình: yêu cầu nào vượt ngân sách phòng ban, hoặc vượt phần chia của một người, sẽ không bao giờ tới mô hình.
Các ô hiện ngân sách tổ chức (tổng của mọi phòng ban), số đã chi, số phòng ban, và số phòng ban đã vượt cảnh báo mềm. Spend trend vẽ 14 ngày gần nhất.
Tran Mai có hạn mức riêng, nên hạn mức đó thắng — với toàn bộ các con số, dù cao hơn nhiều so với phòng ban. Chi phí của cô vẫn tính cho Sales, và các mô hình Sales chặn vẫn bị chặn với cô.
Người có hạn mức riêng vẫn được tính vào số người, nhưng chi tiêu từ hạn mức của mình — nên không lấy gì từ quỹ chung, và phần của người khác không đổi khi hạn mức được cấp.
Hệ thống phát cảnh báo ngân sách. Không yêu cầu nào bị từ chối — mọi người vẫn làm việc bình thường.
Các lệnh gọi mô hình mới bị từ chối cho đến khi ngân sách đặt lại vào tháng sau. Câu trả lời đang chạy sẽ dừng ở lệnh gọi kế tiếp.
Các ngưỡng
| Ngưỡng | Tác dụng |
|---|---|
| Soft alert (mặc định 80 %) | Phòng ban được nêu tên trên dashboard, và cả người đã vượt 80 % phần chia của mình, mỗi ngưỡng một lần mỗi tháng |
| Hard stop (mặc định 100 %) | Gateway từ chối yêu cầu của phòng ban cho tới khi sang tháng mới hoặc có người nâng ngân sách |
Phần chia của mỗi người
Ngân sách phòng ban được chia đều cho những người tính chi phí vào đó, và mỗi người bị dừng ở phần chia của mình cũng như ở tổng của phòng ban. Phần chia hiện dưới ngân sách trên màn phòng ban, kèm số người dùng để chia, và tự thay đổi khi người vào hay ra. Ai cần nhiều hơn sẽ được đặt hạn mức riêng, thay cho phần chia.
Người dùng cũng có thể bấm Ask for a higher budget ở Settings › Usage & budget; yêu cầu được duyệt ở Access requests.
Ba cấp, cấp cụ thể nhất thắng
- Organisation limits ở cuối màn hình này giữ sáu giá trị: Monthly budget, Token quota, Requests per minute, Tokens per minute, Soft alert và Hard stop. Chúng áp cho mọi phòng ban chưa đặt giá trị riêng.
- Một phòng ban có thể đặt riêng ở tab Budget & limits của nó.
- Một người có thể được đặt riêng trên hồ sơ ở Users.
Yêu cầu tuân theo cấp cụ thể nhất đang có, cao hơn hay thấp hơn: phòng ban đặt cao hơn tổ chức sẽ được con số cao hơn, và người đặt cao hơn phòng ban cũng vậy.