Mô hình — AI Portal Docs

Mỗi mô hình là một dòng trong danh mục: tên gateway dùng để phục vụ, mô hình nó gọi trên Bedrock, và giá. Khả năng của mô hình (ảnh, gọi công cụ, suy luận) được đọc từ nhà cung cấp.

Màn hình có hai tab theo thứ tự thiết lập: Providers (kết nối Bedrock) và Catalogue (mô hình và các việc).

Cho mô hình chạy được

Khi chưa thiết lập xong, đầu tab Catalogue hiện danh sách kiểm tra:

Bedrock đã kết nối, kèm region và lần kiểm tra gần nhất.
Ít nhất một mô hình chat đang phục vụ.
Một mô hình embedding làm việc Document search.
Một mô hình làm việc Background tasks.

Danh sách cũng cảnh báo khi một mô hình chat luôn bị từ chối ở đâu đó. Khi xong, nó thu lại thành một dòng “Serving N mô hình”, liệt kê vấn đề khi bạn mở ra: mô hình bật nhưng không phục vụ, agent trả lời bằng mô hình không phục vụ, và khóa nhà cung cấp đang chờ duyệt.

Hai việc riêng của portal

Việc	Làm gì	Khi chưa đặt
Document search	Cho tài liệu tải lên và bộ nhớ tìm được theo nghĩa	Chỉ tìm được theo đúng từ ngữ
Background tasks	Đặt tên hội thoại, viết ghi chú tiến độ khi agent làm việc, và đọc ảnh trong tài liệu được đặt chế độ đọc ảnh	Các việc này bị bỏ qua

Một việc được lưu ngay khi đổi, có Undo. Xoá một việc sẽ hỏi trước. Việc trỏ tới mô hình đã ngừng phục vụ sẽ hiện đỏ. Chat không phải là một việc: người dùng chọn trong mọi mô hình chat đang phục vụ, trừ những mô hình phòng ban của họ đã chặn.

Thêm mô hình

Trước khi bắt đầu

Thời gian: 5 phút Ai làm được: Org Admin, hoặc vai trò tùy chỉnh có model_catalog.manage

Amazon Bedrock đã kết nối: Providers hiện region và Test connection đạt.
Mô hình đã được bật cho tài khoản AWS của bạn trong AWS console, ở Bedrock › Mô hình access.

Mở Add mô hình

Admin console › Models › Add models. Bạn thấy mọi mô hình khóa Bedrock của bạn gọi được trong region.
Chọn một hay nhiều

Tìm, hoặc lọc Chat hay Embeddings. Mỗi dòng hiện giá mỗi triệu token, cửa sổ ngữ cảnh và độ dài trả lời tối đa. Added nghĩa là đã có trong danh mục. Refused in N departments nghĩa là độ dài trả lời tối đa vượt giới hạn mỗi phút của các phòng ban đó. Mô hình Bedrock liệt kê nhưng khóa này không gọi được nằm ở Not available with this key: bật chúng trong AWS console trước.
Liên kết hay thêm mới

Nếu mô hình chọn trùng tên với một dòng chưa liên kết, giữ Link (giữ cấu hình, chặn theo phòng ban và lịch sử của dòng đó) hoặc chọn Add as a new mô hình.
Xem lại và thêm

Nếu một việc chưa có mô hình và bạn chọn đúng một mô hình làm được việc đó, portal đề nghị dùng nó. Cảnh báo giới hạn tốc độ được nhắc lại. Rồi bấm Add N mô hình.

Thêm mô hình từ Bedrock — Chọn mô hình từ Bedrock.

Chọn ai được dùng

Mô hình không có danh sách phòng ban. Mỗi phòng ban có công tắc Available riêng cho từng mô hình chat ở tab Mô hình của phòng ban, để quyền dùng được đặt ở nơi giữ ngân sách. Mô hình chat mới bật sẵn ở mọi nơi.

Mô hình bị tắt không chỉ bị ẩn: yêu cầu gọi nó bị từ chối và ghi vào audit log là Refused · mô hình blocked.

Trạng thái trong danh mục

Trạng thái	Nghĩa là
Serving	Hoạt động. Người và agent được phép có thể chọn
Starting	Đang chuẩn bị sau khi đổi, thường dưới một phút. Bảng tự cập nhật
Waiting for a price	Bedrock trả lời nhưng chưa có giá; chat với mô hình này bị từ chối cho tới khi có
Not serving	Đã bật nhưng không ai dùng được. Lý do được hiện, ví dụ “Not linked to a Bedrock mô hình” hay “Bedrock access is off”
Off	Đã tắt. Không ai chọn được

Lọc theo Serving, Problems hay Off, theo loại, hoặc bật Show archived. Trong bộ chọn mô hình của chat, mô hình bật nhưng không phục vụ hiện mờ kèm lý do.

Công tắc cuối dòng lưu ngay, có Undo:

Mô hình đang làm một việc không tắt được cho tới khi mô hình khác nhận việc đó.
Tắt mô hình mà agent đang dùng sẽ nêu tên các agent đó trước; chúng ngừng trả lời cho tới khi chuyển sang mô hình khác.
Mô hình chưa liên kết với mô hình Bedrock không bật được. Liên kết trước.

Bảng chi tiết của mô hình

What’s wrong, khi mô hình không phục vụ.
Who can use it: từng phòng ban, bị chặn hay luôn bị từ chối ở đó, các agent dùng nó và các việc nó làm.
Bedrock mô hình: mô hình nó gọi, và Link to a different Bedrock mô hình…, giữ nguyên dòng và lịch sử.
Name and limits: tên hiển thị, mô tả trong bộ chọn, cửa sổ ngữ cảnh và khả năng. Độ dài trả lời tối đa là con số của nhà cung cấp, không sửa ở đây.
Price: giá vào, ra và cache mỗi triệu token.
Archive mô hình… tắt và ẩn mô hình. Lịch sử sử dụng vẫn giữ nên không bao giờ bị xoá; khôi phục từ Show archived.

Luôn bị từ chối ở một phòng ban

Trước khi chat bắt đầu, gateway giữ trước toàn bộ độ dài trả lời tối đa của mô hình trên giới hạn token mỗi phút của phòng ban. Nếu giới hạn thấp hơn, mọi lần chat với mô hình đó ở đây đều bị từ chối. Dòng hiện Always refused in N, và bảng chi tiết nêu các phòng ban và người có giới hạn riêng. Giới hạn quá thấp, không phải lỗi mô hình: nâng nó ở Budgets & limits.

Amazon Bedrock

Thẻ ở Providers cho biết Bedrock đã kết nối chưa, region, cách xác thực (API key portal lưu, khóa trong AWS Secrets Manager, hoặc AWS role của máy chủ), lúc thêm hay thay khóa, và kết quả lần kiểm tra gần nhất.

Nút	Làm gì
Test connection	Gọi một lần tới danh sách mô hình của Bedrock. Kết quả và thời điểm được giữ trên thẻ
Replace key	Dán API key mới, hoặc trỏ tới một secret trong AWS Secrets Manager bằng ARN. Kiểm tra ngay khi lưu
Use the server’s AWS role…	Ký lần gọi Bedrock bằng role của máy chủ và bỏ khóa đã lưu, sau khi xác nhận. Chỉ có khi bản triển khai cho phép
Turn off for everyone…	Dừng chat, tìm tài liệu và việc chạy nền cho mọi phòng ban, sau khi xác nhận

Khóa nhà cung cấp

Khóa của Google, OpenAI hoặc Anthropic. Mô hình của một khóa chỉ tới chủ của nó (một người, hoặc mọi người trong một phòng ban), và chi phí tính vào tài khoản của chính khóa đó, nằm ngoài mọi ngân sách phòng ban.

Add a key

Chọn nhà cung cấp và ai được dùng, dán khóa và, nếu muốn, hạn mức chi tiêu tháng. Continue hỏi nhà cung cấp khóa gọi được gì; khóa bị từ chối dừng ở đây kèm lý do.
Chọn mô hình

Tích các mô hình dùng với khóa, rồi Send for approval.
Duyệt

Yêu cầu đang chờ hiện trước, kèm ai xin, cho ai, mô hình và giá, và hạn mức. Một người có model_catalog.manage, khác người xin, bấm Approve hoặc Reject… kèm lý do (không bắt buộc) mà người xin thấy được.

Menu More của mỗi khóa có Replace key… (quay lại chờ duyệt), Cancel request khi đang chờ, và Stop using this key…, nêu tên các mô hình sẽ ngừng chạy. Khóa bị từ chối và đã ngừng nằm ở History.

Department Lead không có model_catalog.manage sẽ thấy trang này là Provider keys: khóa và mô hình của phòng ban họ. Khóa ai tự trả tiền nằm ở Settings › Model keys của người đó.