Vì sao có AI Portal
Một cổng AI có quản trị cho toàn công ty — trò chuyện với agent kèm ngân sách theo phòng ban, danh sách mô hình được phép, nhật ký kiểm tra và chia sẻ theo từng tài nguyên, chạy ngay trong tài khoản AWS của bạn.
eCloudvalley (ECV) xây dựng AI Portal như một sản phẩm doanh nghiệp có thể triển khai lặp lại cho các tổ chức vận hành trên AWS. Portal được cài vào một tài khoản AWS mới mà không cần viết mã riêng cho từng khách hàng: ưu tiên Bedrock, triển khai trong tài khoản của bạn, và quản trị được thực thi thật sự — không chỉ hiển thị cho có.
Quy tắc chính
- Lấy agent làm trung tâm. Bạn luôn trò chuyện với một agentAgentAgentTrợ lý có hướng dẫn, kho tri thức, công cụ và mô hình mặc định riêng. Mọi cuộc trò chuyện đều chạy qua một agent — trò chuyện thường là agent không dùng công cụ nào.Mở trong Thuật ngữ; một câu trả lời thông thường chỉ là một lượt agent không dùng tool nào.
- Ngân sách theo phòng ban. Mọi yêu cầu được tính vào đúng một phòng ban, với ngân sách có ngưỡng cảnh báo và điểm dừng cứng.
- Danh sách mô hình được phép. Phòng ban chặn những mô hình không dùng; mọi mô hình khác trong danh mục vẫn mở.
- Nhật ký cho từng lần gọi mô hình. Mỗi lần gọi để lại một dòng nhật ký kèm chi phí.
- Chia sẻ theo từng tài nguyên. Agent, skill, prompt, connected app, artifact và kho tri thức đều có quy tắc cho phép và chặn riêng.
Thế nào là thành công
Một bản triển khai vận hành tốt khi hai điều cùng đúng:
- Nhân viên chạy được một quy trình hữu ích — ví dụ một quy trình nghiên cứu — thông qua một agent có quản trị.
- Quản trị viên chứng minh được ai đã dùng mô hình nào, theo chính sách nào, với chi phí bao nhiêu.
Vấn đề portal giải quyết
Việc dùng AI trong doanh nghiệp thường bắt đầu từ dưới lên: mỗi phòng ban tự mua gói AI tiêu dùng riêng. Cách đó vẫn chạy — cho tới khi có người hỏi dữ liệu đã đi đâu, tốn bao nhiêu tiền, hay ai vẫn còn quyền truy cập.
| Vấn đề | Biểu hiện | Portal làm gì |
|---|---|---|
| Không có quản trị | Dữ liệu đi tới bất kỳ nhà cung cấp nào nhân viên chọn, không có danh sách được phép, không có chính sách chung và không có nhật ký kiểm tra đáng tin cậy | Một danh sách mô hình được phép, một chính sách, và một dòng nhật ký cho mỗi lần gọi mô hình |
| Không kiểm soát chi phí | Chi tiêu rải rác qua nhiều gói và thẻ, không phân bổ được, không có giới hạn tốc độ hay mức trần có hiệu lực | Ngân sách và giới hạn tốc độ theo phòng ban, có ngưỡng cảnh báo và điểm dừng cứng |
| Không quản lý vòng đời danh tính | Quyền truy cập không đi theo đăng nhập một lầnĐăng nhập một lần (SSO)Single sign-on (SSO)Đăng nhập một lần bằng tài khoản công ty, như Entra ID hoặc Okta. Portal không bao giờ thấy mật khẩu của bạn.Mở trong Thuật ngữ, việc cấp tài khoản và nghỉ việc của công ty | Đăng nhập bằng tài khoản công ty; người dùng được thêm và gỡ tự động qua SCIM |
| Không tận dụng được tài sản chung | Prompt, tri thức, quy trình và kết quả hữu ích nằm kẹt trong tài khoản cá nhân | Agent, skill, prompt, tri thức và artifact trở thành tài nguyên chung có quản trị của công ty |
Nguyên tắc
Mọi quyết định về kiến trúc và phạm vi đều được đối chiếu với tám nguyên tắc sau.
| # | Nguyên tắc | Ý nghĩa |
|---|---|---|
| 1 | Lấy agent làm trung tâm | Bạn trò chuyện với một agent có thể dùng chỉ dẫn, skill, tri thức, bộ nhớ, tool và MCP application. Câu trả lời thông thường là một lượt agent không gọi tool nào |
| 2 | Thực thi bên dưới giao diện | Portal giải thích chính sách; Keycloak (đăng nhập), lớp API của portal, LiteLLMLiteLLM (cổng mô hình)LiteLLM (model gateway)Cổng mà mọi lệnh gọi mô hình đi qua. Nó định tuyến tới Bedrock, áp khoá và ngân sách của từng phòng ban, và ghi chi phí từng lệnh gọi.Mở trong Thuật ngữ (cổng mô hình) và lớp agent thực thi chính sách đó |
| 3 | Ưu tiên Bedrock | Lần gọi mô hình tới Amazon Bedrock nằm gọn trong tài khoản AWS của bạn. Khóa nhà cung cấp mà một phòng ban hay một người dán vào sẽ đi tới đúng nhà cung cấp đó |
| 4 | Tài khoản của bạn, bản triển khai của bạn | Mỗi bản triển khai một tổ chức, chạy trong chính tài khoản AWS của bạn. Mọi bản triển khai đều dựng từ cùng mã nguồn và mẫu hạ tầng, nên không có gì được viết riêng cho một khách hàng |
| 5 | Một nơi quản trị duy nhất | Quản trị viên của bạn làm việc trong portal. Console của LiteLLM và Keycloak chỉ dành cho ECV khi cần break-glass |
| 6 | Cấu hình tạo nên agent | Một agent host có tham số chạy mọi cấu hình agent. Tạo agent không triển khai thêm gì |
| 7 | Tiến trình rõ ràng, câu trả lời gọn gàng | Tóm tắt suy luận, hoạt động của tool, phê duyệt và câu hỏi làm rõ hiển thị thành dòng thời gian làm việc. Chỉ câu trả lời cuối cùng được hiển thị là câu trả lời |
| 8 | Tải lại trang vẫn giữ lần chạy | Lịch sử được lưu bền vững, và lần chạy đang diễn ra sẽ kết nối lại mà không lặp lại những gì đã có trên màn hình |
Dành cho ai
Không có cấp chủ sở hữu, quản trị viên hay thành viên theo nhóm làm việc — quản trị viên quản lý toàn bộ tổ chức.
| Người dùng | Cần gì | Bắt đầu từ |
|---|---|---|
| Nhân viên (Org User) | Trò chuyện với các agent được phép, đính kèm file, dùng lại prompt, nhận câu trả lời có trích dẫn, quản lý bộ nhớ cá nhân và xem hạn mức, ngân sách của mình | Sử dụng portal |
| Org Admin (vai trò có sẵn) | Thiết lập tổ chức, người dùng, phòng ban, nhóm, vai trò, quyền dùng mô hình, ngân sách, phạm vi hiển thị, tool, application và nhật ký kiểm tra. Không có quyền về thanh toán | Quản trị |
| Org Owner (vai trò có sẵn) | Toàn quyền với tổ chức, gồm cả billing.manage và việc chuyển người giữa các cấp vai trò có sẵn | Quản trị |
| Người giữ vai trò tùy chỉnh (ví dụ Cost Analyst hoặc Compliance Reviewer) | Một bộ quyền hạn hẹp — như xem chi tiêu hoặc rà soát nhật ký kiểm tra — được gán trực tiếp hoặc qua nhóm, mà không cần trở thành Org Admin | Vai trò và quyền hạn |
| Đội vận hành ECV (eCloudvalley) | Cài đặt, nâng cấp, giám sát và khôi phục bản triển khai của khách hàng; truy cập break-glass vào console của nhà cung cấp khi cần | Triển khai |
Bạn nhận được gì
Sản phẩm bao gồm hai khu vực.
- Trò chuyện với agent theo luồng trực tiếp, có lịch sử, tìm kiếm, thư mục, file đính kèm và chèn prompt
- Hoạt động của tool, trích dẫn và artifact
- Câu hỏi làm rõ có cấu trúc
- Dòng thời gian làm việc tách riêng khỏi một câu trả lời cuối cùng
- Lần chạy tiếp tục được sau khi tải lại trang
- Chế độ thực thi cho connected app: Ask before each action (hỏi trước mỗi thao tác) hoặc Run without asking (chạy không cần hỏi)
- Chỉ khám phá được những tài nguyên bạn được phép thấy
- Tình trạng mức dùng và ngân sách của riêng bạn
- Quản lý bộ nhớ cá nhân
- Keycloak làm trung gian cho Entra ID, cấp tài khoản qua SCIM
- Thành viên phòng ban được gán trực tiếp
- Nhóm nhiều-nhiều và vai trò theo quyền hạn
- Danh mục mô hình, mỗi mô hình một dòng
- Virtual key, ngân sách và giới hạn tốc độ của LiteLLM
- Phạm vi hiển thị cho phép và chặn theo từng tài nguyên, có xem trước quyền truy cập thực tế
- Một dòng nhật ký bất biến cho mỗi lần gọi mô hình
- Báo cáo mức dùng, chi phí và phân bổ chi phí (chargeback)
Portal không phải là gì
- Không phải sản phẩm đa đám mây — portal chỉ được xây dựng cho AWS.
- Không phải mỗi agent một môi trường chạy — mọi agent là cấu hình trên một host dùng chung; không triển khai dịch vụ riêng cho từng agent.
- Không có phân cấp theo nhóm làm việc — không có cấp vai trò theo nhóm và không có tài nguyên thuộc sở hữu phòng ban.
- Không phải ứng dụng di động gốc — đây là ứng dụng web responsive.
- Chưa phải mục tiêu hiện tại: ngang bằng các ứng dụng chat tiêu dùng, tạo ảnh, chợ plugin, hay tự động ghi sâu vào ERP/CRM.
Vì sao lại thiết kế như vậy
Vì sao triển khai trong chính tài khoản AWS của khách hàng?
Mỗi tổ chức có bản triển khai riêng trong tài khoản AWS của mình, nên lần gọi mô hình tới Bedrock không bao giờ rời khỏi tài khoản đó. Vì mọi bản triển khai đều dựng từ cùng mã nguồn và mẫu hạ tầng, một tổ chức mới không cần mã tùy biến — chỉ cần thêm một bản triển khai. Xem Triển khai.
Vì sao quản trị được thực thi bên dưới giao diện?
Một quy tắc chỉ nằm trên giao diện có thể bị vượt qua bằng cách gọi thẳng API. Vì vậy màn hình của portal chỉ giải thích chính sách: đăng nhập do Keycloak thực thi, quyền hạn và phạm vi hiển thị do lớp API của portal, ngân sách và giới hạn tốc độ do LiteLLM, còn quy tắc dùng tool do lớp agent.
Vì sao tạo agent không triển khai thêm gì?
Agent là một gói cấu hình — chỉ dẫn, mô hình, danh sách tool được phép, tham chiếu tri thức và skill — mà một host dùng chung có tham số nạp vào cho mỗi lần chạy. Tạo, sửa hay chia sẻ agent là thay đổi trong cơ sở dữ liệu, không phải thay đổi hạ tầng.
Vì sao chỉ có một nơi quản trị?
Quản trị viên phía khách hàng làm mọi việc trong Admin console (bảng điều khiển quản trị) của portal. Console của cổng mô hình (LiteLLM) và danh tính (Keycloak) đóng với họ và chỉ được ECV mở trong tình huống break-glass, để chính sách không bao giờ bị thay đổi sau lưng portal.
