Danh mục mô hình

Danh mục là một bảng, mỗi mô hình một dòng. Portal nắm sự thật đó, và gateway LiteLLMLiteLLM (cổng mô hình)LiteLLM (model gateway)Cổng mà mọi lệnh gọi mô hình đi qua. Nó định tuyến tới Bedrock, áp khoá và ngân sách của từng phòng ban, và ghi chi phí từng lệnh gọi.Mở trong Thuật ngữ được đồng bộ để phục vụ đúng như vậy. Mô hình nào làm từng việc riêng của portal là một câu trả lời khác: hai phân công mô hình nằm trên tổ chức.

Một dòng chứa gì

Gateway ghi tiền tố của nhà cung cấp trước định danh upstream: bedrock/, gemini/, openai/ hoặc anthropic/. BedrockAmazon BedrockAmazon BedrockDịch vụ mô hình của AWS, chạy trong region của tài khoản bạn. Mô hình và embedding của portal đến từ đây, luôn qua LiteLLM.Mở trong Thuật ngữ chứa mô hình của nhiều hãng, nên “Bedrock” là cách một mô hình được phục vụ; ai làm ra nó là hãng, đọc từ nhà cung cấp khi thêm mô hình.

Loại, khả năng và phân công

Đầu ra mới là một loại; đầu vào mới là một khả năng. Câu trả lời của nhà cung cấp và của portal được gộp khi thêm mô hình và ghi lên dòng, nên bản phát hành sau không thể đổi một mô hình đang dùng, và quản trị viên có thể sửa một câu trả lời sai. Mô hình mà bảng của portal chưa từng biết sẽ được thêm chỉ với câu trả lời của nhà cung cấp.

Hai phân công mô hình

Admin console gọi chúng là việc riêng của portal — đừng nhầm với tác vụ nền trên hàng đợi công việc.

• Chat không phải một phân công. Chat cung cấp mọi mô hình văn bản đang bật trừ những mô hình phòng ban của người đó chặn, vì người vận hành đưa nhiều mô hình vào danh mục để có thể chuyển agent giữa chúng.
• Phân công để trống là một trạng thái thật. Tổ chức chưa gán mô hình embedding sẽ không lập chỉ mục gì cho đến khi có.
• Đọc hình cần mô hình đọc được hình. Một trang chỉ được mô hình đọc khi tệp của nó yêu cầu Text + figures hoặc Full rewrite. Portal kiểm tra danh mục và từ chối các trang đó kèm lý do khi không làm được. Khả năng này không bắt buộc với bản thân phân công, vì tổ chức không có bản scan thì không bao giờ cần.
• Độ rộng embedding là cố định. Mỗi cột vector có độ rộng cố định, nên mô hình embedding thay thế phải trả về cùng số chiều, nếu không kho tri thức phải embedding lại.

Đồng bộ

Không có nút xuất bản và không có route xuất bản. Lần đẩy thất bại trong lúc gateway khởi động lại sẽ được lượt quét kế tiếp thử lại. Việc đồng bộ suy ra cần đẩy gì từ các dòng và có tính lũy đẳng, nên không cần hàng đợi, và một danh mục đã đúng chỉ tốn một lần đọc, không ghi gì.

Thay thông tin xác thực của tổ chức sẽ đẩy lại mọi route nó đang giữ, vì mỗi deployment trên gateway giữ bản sao khóa riêng và gateway không bao giờ trả lại khóa đã lưu để so sánh.

Màn hình danh mục đọc các cột mà lượt quét đã ghi, nên một màn hình chỉ tốn một truy vấn và không phải chờ gateway hay Bedrock. Cả hai lần đọc gateway đều trả lời cho toàn bộ gateway, nên một lượt quét bao trọn danh mục.

Thêm và rút mô hình

• Thêm. Chọn một mô hình trong số những gì thông tin xác thực của tổ chức tới được là đưa nó vào danh mục và để nó phục vụ, trong một yêu cầu.
• Rút là công tắc riêng của mô hình. Mô hình bị tắt sẽ rời mọi bộ chọn, và lượt nào chỉ định nó sẽ bị gateway từ chối.
• Quy tắc chặn của phòng ban vẫn còn. Các quy tắc chặn nêu tên mô hình bị rút được giữ nguyên, nên bật lại sẽ khôi phục đúng như trước.
• Không gì bị xoá, vì các dòng nhật ký kiểm tra và hoá đơn tháng trước có ghi tên mô hình.
• Mô hình mới tới mọi người. Một phòng ban dùng được mọi mô hình chat cho đến khi chặn một mô hình. Việc chặn được đặt trên màn hình của chính phòng ban — xem Phòng ban.
• Mô hình đang được phân công phải giữ bật. Không thể tắt mô hình đang giữ một phân công cho đến khi phân công trỏ sang mô hình khác. Phân công chỉ được chỉ định mô hình đã có trong danh mục, đúng loại và đang bật.
• Danh mục quyết định. Mô hình mà một phân công chỉ định được đọc từ danh mục của tổ chức, không bao giờ từ biến môi trường của bản triển khai.
• Mô hình embedding được định giá và tắt như mọi mô hình khác, không thể bị phòng ban chặn, và không bao giờ xuất hiện trong bộ chọn chat.

Giá và prompt caching

Gateway giữ bảng giá của hãng và tính tiền, nên việc đồng bộ sao chép giá công bố của nó lên dòng. Mô hình được tạo mà chưa có giá và không dùng được cho đến khi sao chép xong — đó là lúc nó trở nên phục vụ được. Mỗi mức giá trả cho cái gì, và vì sao một prompt được cache cần bốn mức giá, có ở Kiểm tra và theo dõi chi phí.

Điểm đánh dấu cache prompt được cấu hình trên mô hình được phục vụ. Agent nói chuyện với gateway qua một adapter chat kiểu OpenAI không chuyển tiếp chỉ dẫn cache, nên gateway tự chèn điểm đánh dấu vào system prompt và tin nhắn cuối, và các lần gọi sau dùng lại phần tiền tố khớp.

Một route chỉ có điểm đánh dấu khi danh mục có cả hai câu trả lời về nó:

1. Khả năng PROMPT_CACHE — nhà cung cấp cache prompt trên mô hình này. Bảng của portal đặt nó cho các mô hình Claude mà Bedrock liệt kê là đã phát hành chính thức cho caching tường minh; quản trị viên có thể bật hoặc xoá nó trên bất kỳ mô hình nào. Claude 3.5 Sonnet v2 bị loại vì Bedrock liệt kê nó ở dạng preview. Một mức giá cache được công bố không phải câu trả lời này: danh mục của LiteLLM có giá cache cho cả những route mà Bedrock từ chối chỉ dẫn cache.
2. Cả hai mức giá cache — dòng nhật ký từ chối định giá token cache khi không có giá, và một lần gọi không tính tiền được là lần gọi thất bại. Giá được sao từ gateway sau lần đẩy đầu tiên, nên mô hình mới vào danh mục bắt đầu không có điểm đánh dấu và có chúng ở lượt quét kế tiếp.

Truyền tham số tool theo luồng

Claude viết tham số của lần gọi tool dần dần, nhưng Bedrock giữ lại từng tham số cho đến khi giá trị hoàn chỉnh, trừ khi yêu cầu bật tính năng truyền tool chi tiết (fine-grained tool streaming) của Anthropic. Một tệp agent viết là một chuỗi dài, nên nếu không bật, bộ đếm tiến độ trong chat đứng ở vài ký tự đầu rồi nhảy thẳng tới cả tệp.

Khả năng TOOL_STREAMING cho biết mô hình chấp nhận cờ này. Bảng của portal đặt nó cho Claude 3.7 Sonnet và các dòng Claude 4 và 5; quản trị viên có thể bật hoặc xoá nó trên bất kỳ mô hình nào. Claude 3 Haiku từ chối cờ này, và Bedrock từ chối chính tham số đó với mọi mô hình không phải Claude.

Tự mang khóa (BYOK)

Nhà cung cấp ngoài Bedrock được gọi bằng khóa do chính chủ của nó cung cấp — một phòng ban hoặc một người. Mỗi người quản lý khóa của mình ở Settings › Model keys; quản trị viên ở Mô hình.

Mỗi thông tin xác thực mang theo các dòng danh mục riêng. Hai phòng ban cùng dán khóa Gemini sẽ có hai dòng, hai tên route và hai deployment trên gateway, mỗi cái mang khóa riêng. Nhờ vậy tên route công khai luôn duy nhất, và việc đồng bộ, lượt quét phục vụ, sao chép giá, dòng nhật ký và quy tắc chặn của phòng ban vẫn làm việc trên các dòng như mọi khi.

1. PENDING — khóa được dán và mô hình được tích chọn. Không route nào được phục vụ cho đến khi người có model_catalog.manage quyết định.
2. Đã phê duyệt — các route được phục vụ, cho chủ khóa và không ai khác.
3. Đã thay khóa — khóa được thay dưới cùng tham chiếu và dòng quay về PENDING, vì khóa đã thay là khóa mới.
4. Đã rút — các route bị gỡ và các dòng danh mục được giữ lại, nên phê duyệt lần nữa sẽ khôi phục những gì thông tin xác thực đó từng có.

Chi phí trên các dòng này nằm ngoài quỹ ngân sách của phòng ban — xem Ngân sách và chính sách.

Thông tin xác thực

Tổ chức giữ một thông tin xác thực cho mỗi mục đích: Bedrock, Firecrawl, Tavily và SharePoint. Mọi mô hình trong tài khoản đều được phục vụ bằng thông tin xác thực Bedrock, trừ khi dòng của nó chỉ định một khóa tự dán.

Với IAM role của host, AWS SDK cache và làm mới thông tin xác thực role của backend. Mỗi lượt quét so một phiên bản phiên mờ — một giá trị băm — và cập nhật route khi phiên thay đổi. Thông tin xác thực đã phân giải không xuất hiện trong báo cáo đồng bộ hay phản hồi API. Gateway giữ phiên tạm cho đến lần cập nhật kế tiếp, được tin cậy với phiên đó, và thừa hưởng quyền IAM của role backend trong suốt thời gian phiên còn hiệu lực.

Chỉ backend cần truy cập instance metadata. Gateway dùng phiên được cấp cho cả chat lẫn embedding, nên một host gateway riêng có thể giữ nguyên cấu hình metadata hiện có. Thông tin xác thực thiếu session token hoặc thời hạn hợp lệ sẽ bị từ chối. Xác thực Bedrock của LiteLLM hỗ trợ các tham số AWS này, và chuỗi thông tin xác thực của AWS SDK phân giải được EC2 instance profile.

Quyền của vai trò EC2

Role gắn với backend cần quyền đọc danh mục, đọc tính khả dụng và gọi mô hình. Chính sách sau giới hạn việc gọi trong các dòng Claude, Cohere embedding và Titan embedding. Thay <account-id> bằng tài khoản của bản triển khai và đề nghị chủ hạ tầng của tài khoản cấp quyền.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "BedrockCatalogRead",
      "Effect": "Allow",
      "Action": [
        "bedrock:ListFoundationModels",
        "bedrock:ListInferenceProfiles",
        "bedrock:GetFoundationModelAvailability"
      ],
      "Resource": "*"
    },
    {
      "Sid": "BedrockModelInvoke",
      "Effect": "Allow",
      "Action": [
        "bedrock:InvokeModel",
        "bedrock:InvokeModelWithResponseStream"
      ],
      "Resource": [
        "arn:aws:bedrock:*::foundation-model/anthropic.claude-*",
        "arn:aws:bedrock:*::foundation-model/cohere.embed-*",
        "arn:aws:bedrock:*::foundation-model/amazon.titan-embed-*",
        "arn:aws:bedrock:*:<account-id>:inference-profile/*"
      ]
    }
  ]
}

Ký tự đại diện cho region trên foundation mô hình cho phép inference profile theo vùng và toàn cầu gọi tới mô hình đích của chúng. Dòng mô hình khác cần thêm ARN foundation mô hình của nó vào quyền gọi. Guardrails cần thêm một câu lệnh cho Bedrock guardrail của tổ chức — xem Guardrails.

Bộ chọn mô hình

Cách quản trị viên thêm mô hình có ở Mô hình. Phía sau màn hình:

1. Khi mở bộ chọn, console hỏi Bedrock tổ chức này thấy được gì, bằng thông tin xác thực của chính tổ chức ở region nó được tính phí. Không gì được lưu lại, nên mô hình AWS đã rút sẽ vắng mặt ở lần sau.
2. Quản trị viên tích chọn bao nhiêu mô hình tuỳ ý. Mô hình vừa gọi trực tiếp được vừa qua inference profile là hai định danh và hai dòng; tên thứ hai được thêm hậu tố để tránh trùng.
3. Một yêu cầu ghi mọi mô hình đã tích, mỗi cái đều để phục vụ. Nhà cung cấp được đọc một lần cho cả lô, tên được cấp dựa trên một lần đọc danh mục, và chỉ cần một mục nhà cung cấp không cung cấp là cả lô không được ghi. Định danh lấy từ bộ chọn chứ không từ biểu mẫu; khóa tự dán cho nhà cung cấp khác cũng được chọn theo cùng cách.
4. Cửa sổ ngữ cảnh và trần đầu ra bắt đầu ở giá trị mặc định, và chỉ sửa ở số ít mô hình cần. Cửa sổ ngữ cảnh sai chỉ thu hẹp những gì được gửi, không bao giờ làm hỏng lần gọi.

Khả năng dùng tool được suy ra: Bedrock chỉ công bố mô hình có phục vụ API mà việc dùng tool chạy qua hay không, nên console đọc câu trả lời từ đó và cho quản trị viên ghi đè.

Vùng Bedrock và inference profile

Phần lớn mô hình hiện nay chỉ được phục vụ qua inference profile. Một profile trải trên nhiều region: profile theo vùng chuyển sang region lân cận, profile toàn cầu không gắn region nào.

Ai được dùng mô hình nào có ở Ngân sách và chính sách.

Bên dưới

Liên quan