AgentCore Runtime V2 rút thời gian khởi động lạnh xuống khoảng 2 giây

Thời gian chờ của AI agent bắt đầu trước khi mô hình nhận yêu cầu. Nền tảng còn phải kéo ảnh container, khởi tạo môi trường, mở đường mạng và đưa mã ứng dụng vào trạng thái sẵn sàng. AWS mô tả Amazon Bedrock AgentCore Runtime là lớp tính toán được quản lý để triển khai và chạy agent, rồi công bố phiên bản Runtime mới với bộ nhớ nạp theo nhu cầu và snapshot khởi động.

Con số được chú ý nhất là P75 khởi động lạnh khoảng 2 giây với ảnh container từ 200 MB đến 2 GB. Đây là kết quả của đường khởi động nền tảng trong điều kiện AWS chọn, không phải thời gian người dùng chờ cho một câu trả lời hoàn chỉnh. Mô hình, công cụ, cơ sở dữ liệu, vòng lặp agent và mạng vẫn nằm ngoài con số đó.

Phép thử 2 giây đo phần nào của AgentCore Runtime

AWS dùng một echo agent rỗng, nhận dữ liệu rồi trả lại mà không gọi mô hình hoặc công cụ. Một máy khách Python chạy trên Amazon EC2 ở us-west-2 gọi agent tại us-east-1 qua Internet công cộng, không dùng VPC peering và dùng SDK boto3. AWS gửi 5.000 lượt khởi động lạnh cho mỗi agent trong năm kích thước ảnh, trong hạn ngạch tài khoản mặc định.

Vì vậy, phép đo có cả thời gian khứ hồi giữa hai khu vực AWS. Với ảnh từ 200 MB đến 2 GB, Runtime mới có P75 khoảng 2 giây. Runtime cũ tăng từ khoảng 5,4 giây đến gần 30 giây khi ảnh lớn hơn. AWS ghi nhận mã của echo agent chỉ chạy khoảng 34 mili giây ở P75, nên phần lớn con số trong phép thử phản ánh đường khởi động nền tảng.

Người vận hành cần tách ba mốc khi đo hệ thống thật: lúc tạo phiên, lúc agent nhận yêu cầu đầu tiên và lúc trả về kết quả cuối. Nếu yêu cầu đầu tiên đọc kho dữ liệu, gọi nhiều công cụ hoặc chạy nhiều lượt mô hình, cải thiện khởi động chỉ rút ngắn một đoạn trong tổng thời gian.

V2 thay đổi bộ nhớ và cách tạo phiên

Runtime cũ giữ phần bộ nhớ đã cấp phát đến khi phiên kết thúc, nên mức sử dụng dễ bám theo đỉnh cao nhất. Runtime mới bắt đầu bằng một vùng bộ nhớ nhỏ hơn, nạp thêm khi mã chạm tới và thu hồi phần đã được giải phóng hoặc không còn được truy cập. AWS mô tả đây là cách đưa hóa đơn gần hơn với lượng tài nguyên thực sự được dùng trong phiên.

Thay đổi thứ hai là snapshot môi trường. Khi tạo hoặc cập nhật Runtime, nền tảng khởi động container và chờ báo trạng thái khỏe, sau đó chụp lại môi trường đang chạy. Phiên mới khôi phục snapshot thay vì lặp lại toàn bộ bước khởi tạo. Tài liệu AgentCore mô tả Runtime là ứng dụng container hóa xử lý đầu vào, giữ ngữ cảnh và thực thi hành động bằng năng lực AI.

Snapshot cũng tạo ra ranh giới trạng thái. Cấu hình tĩnh hoặc mô hình đã nạp phù hợp với giai đoạn chuẩn bị. Token, thời gian hiện tại, số ngẫu nhiên, thông tin xác thực và trạng thái riêng của từng yêu cầu phải được lấy lại khi xử lý yêu cầu. Nếu không, nhiều phiên có thể dùng nhầm dữ liệu đã được tạo ở thời điểm chụp snapshot.

Hướng dẫn của AWS về Runtime V2 là tài liệu cần đối chiếu khi kiểm tra mã khởi tạo, bộ nhớ, trạng thái phiên và vòng đời agent. Một ứng dụng chạy được trên Runtime cũ chưa mặc nhiên phù hợp với cách môi trường mới khôi phục trạng thái.

Khởi động nhanh chưa đồng nghĩa agent phản hồi nhanh

Agent tương tác thường tạo phiên khi người dùng mở cuộc trò chuyện hoặc gửi câu hỏi đầu tiên. Trong trường hợp này, nền tảng khởi động nhanh giúp giảm phần chờ trước khi mã ứng dụng nhận yêu cầu. Nhưng sau đó agent vẫn phải lập kế hoạch, gọi mô hình, truy vấn dữ liệu, chạy công cụ và kiểm tra kết quả.

Với lưu lượng tăng đột ngột, snapshot giúp đường mở rộng dễ dự đoán hơn nhưng không xóa hạn ngạch tài khoản, giới hạn khu vực, giới hạn đồng thời của mô hình hay hàng đợi ở dịch vụ phía sau. Database, kho tìm kiếm vector và API bên thứ ba vẫn có thể giới hạn tốc độ hoặc yêu cầu thử lại. Bài kiểm tra nên ghi riêng thời gian chờ của từng phụ thuộc.

Agent chạy lâu còn phải quyết định nơi lưu lịch sử trò chuyện, tiến độ tác vụ, phản hồi công cụ và bộ đếm thử lại. Giữ toàn bộ trong bộ nhớ tiến trình làm việc khôi phục khó hơn khi phiên bị thu hồi hoặc mở rộng sang instance mới. Lưu bên ngoài tăng khả năng phục hồi nhưng thêm lượt đọc, ghi, độ trễ và chi phí. Các kết nối cơ sở dữ liệu, Keep-Alive, DNS và token cũng cần kiểm tra lại trong lúc xử lý, không nên xem trạng thái trong snapshot là luôn hợp lệ.

Chi phí cần tính theo nhiệm vụ hoàn tất

AWS mô tả Runtime mới có đơn giá cao hơn nhưng nạp và thu hồi bộ nhớ theo nhu cầu, từ đó giảm GB-hours trong một số kiểu tải. Trang giá AgentCore của AWS là nơi cần dùng để tra cứu đơn giá hiện hành trước khi lập dự toán. Bảng giá không thay thế phép đo theo workload, nhất là khi agent gọi nhiều dịch vụ khác trong một nhiệm vụ.

So sánh nên tách chi phí Runtime, thời gian instance hoạt động, bộ nhớ trong phiên, mô hình, công cụ, cơ sở dữ liệu, lưu trữ và truyền dữ liệu. Mẫu tải có đỉnh ngắn có thể hưởng lợi từ việc thu hồi bộ nhớ, trong khi phiên liên tục giữ vùng nhớ lớn có thể chịu tác động của đơn giá cao hơn. Mẫu số phù hợp là nhiệm vụ hoàn tất hoặc thao tác người dùng thành công, không phải riêng số giây khởi động.

Tại Việt Nam thì sao

Doanh nghiệp ở Việt Nam trước hết cần tách câu hỏi kỹ thuật khỏi câu hỏi pháp lý. Một agent chạy trên AWS không trở thành hệ thống thuộc một ngành cụ thể chỉ vì nó dùng mô hình tạo sinh. Nghĩa vụ phụ thuộc vào loại dữ liệu, mục đích xử lý, người sử dụng và tác động của đầu ra. Cổng văn bản của Chính phủ Việt Nam công bố Luật số 134/2025/QH15 về Trí tuệ nhân tạo; khi triển khai, bộ phận pháp chế nên đọc văn bản gốc và xác định hệ thống của mình thuộc phạm vi nào.

Đối với một chatbot nội bộ, bộ phận cần ghi rõ dữ liệu đầu vào, người được quyền truy cập và hành động mà agent được phép thực hiện. Đối với agent tự gọi API, danh sách quyền không nên dừng ở tên công cụ. Hồ sơ cần nêu API nào được gọi, dữ liệu nào được gửi, vùng nào lưu log, thời gian giữ dữ liệu và cách thu hồi quyền khi phiên kết thúc. Tại Việt Nam, thông tin này giúp đối chiếu yêu cầu quản trị AI với quy trình bảo mật đang có, thay vì chỉ kiểm tra tốc độ phản hồi.

Dữ liệu cá nhân tạo thêm một lớp kiểm tra khi agent đọc hồ sơ khách hàng, giọng nói, hình ảnh, thông tin định danh hoặc nhật ký hành vi. Cổng văn bản của Chính phủ Việt Nam công bố Luật số 91/2025/QH15 về Bảo vệ dữ liệu cá nhân. Doanh nghiệp cần lập bản đồ dữ liệu từ lúc người dùng gửi yêu cầu đến lúc model, công cụ, log và hệ thống giám sát nhận dữ liệu. Nếu Runtime khôi phục snapshot có chứa trạng thái nhạy cảm, thiết kế phải chứng minh trạng thái đó được loại bỏ hoặc tách khỏi snapshot.

Địa điểm máy chủ cũng cần được ghi thành một dòng trong hồ sơ triển khai, nhưng địa điểm không phải là toàn bộ câu trả lời. Cần hỏi AWS khu vực nào cung cấp AgentCore Runtime V2, dịch vụ nào được gọi từ khu vực khác, log có đi qua biên giới hay không và bản sao lưu được giữ ở đâu. Bài viết của AWS dùng us-west-2 gọi us-east-1 để đo, còn một hệ thống tại Việt Nam có thể có đường mạng, khu vực và độ trễ khác. Không nên lấy P75 của bài thử làm cam kết cho người dùng tại Việt Nam.

Về giá, AWS công bố theo đơn vị dịch vụ và khu vực, còn doanh nghiệp tại Việt Nam thường thanh toán qua cấu trúc tài khoản, thuế, tỷ giá và nhà cung cấp thanh toán riêng. Vì vậy, không nên tự quy đổi một con số quảng bá thành giá mỗi yêu cầu bằng đồng Việt Nam. Hãy lấy bảng giá AWS tại thời điểm lập dự toán, xác nhận khu vực sử dụng, hỏi nhà cung cấp tài khoản về thuế và phí thanh toán, rồi chạy tải thử có cùng ảnh container, mô hình, công cụ và số phiên. Tính đến thời điểm bài viết được thực hiện, chúng tôi chưa tìm thấy bảng giá chính thức bằng đồng Việt Nam cho AgentCore Runtime V2.

Một bảng thử nghiệm tại Việt Nam nên có ít nhất bốn nhóm số liệu. Nhóm đầu ghi P50, P75 và P95 từ lúc gọi endpoint đến khi Runtime sẵn sàng. Nhóm thứ hai ghi thời gian mô hình, công cụ, truy vấn dữ liệu và toàn bộ phản hồi. Nhóm thứ ba ghi số byte truyền, số lần thử lại, lỗi và lượng bộ nhớ theo từng giai đoạn. Nhóm cuối tính chi phí cho một nhiệm vụ thành công bằng tiền tệ mà doanh nghiệp thực sự thanh toán.

Đối với ngành có dữ liệu nhạy cảm, nhóm triển khai nên hỏi cơ quan quản lý chuyên ngành hoặc bộ phận pháp chế trước khi đưa dữ liệu thật vào phép thử. Nếu chưa xác định được căn cứ áp dụng cho một trường hợp cụ thể, hãy thử bằng dữ liệu giả lập và ghi rõ câu hỏi còn mở. Bài giải thích chính sách trên Cổng thông tin chính sách của Chính phủ là nguồn tham khảo để đọc phần phân loại rủi ro, nhưng không thay thế việc đối chiếu Luật và hướng dẫn áp dụng.

Cuối cùng, hãy chuẩn bị đường quay lại Runtime cũ trước khi bật V2. Giữ phiên bản container, cấu hình endpoint, quyền IAM, log và trạng thái công việc ở mức đủ để khôi phục. Nếu snapshot làm lộ trạng thái cũ, kết nối công cụ hết hạn hoặc hóa đơn vượt ngưỡng, đội vận hành cần chuyển lưu lượng mà không làm mất tác vụ đang chạy. Đây là yêu cầu về vòng đời dịch vụ, không phải phần được giải quyết chỉ bằng việc giảm P75 khởi động.

Kiểm tra trước khi bật platformVersion V2

AWS cho biết V2 được bật bằng cách đặt tham số platformVersion thành V2 khi tạo hoặc cập nhật Runtime. Trước khi đổi, hãy dùng cùng ảnh container, khu vực, mạng, mô hình và công cụ để so sánh V1 với V2. Kết quả cần giữ cả độ trễ, tỷ lệ lỗi, số lần thử lại, bộ nhớ và chi phí.

1. Đo riêng thời gian tạo phiên, yêu cầu đầu tiên, mô hình, công cụ và phản hồi cuối.
2. Kiểm tra trạng thái tĩnh, token, thời gian, số ngẫu nhiên và dữ liệu yêu cầu sau khi snapshot được khôi phục.
3. Chạy tải nhàn rỗi, thông thường, tăng đột ngột và phiên dài với cùng phụ thuộc phía sau.
4. Ghi P50, P75, P95, lỗi, thử lại, số nhiệm vụ thành công và lượng dữ liệu truyền.
5. Đặt ngưỡng quay lui dựa trên chất lượng, chi phí và yêu cầu bảo vệ dữ liệu.

Con số khoảng 2 giây phù hợp làm giả thuyết kiểm thử cho AgentCore Runtime V2. Quyết định chuyển phiên bản cần dựa trên đường đi đầy đủ của một nhiệm vụ tại Việt Nam, không dựa riêng vào thời gian nền tảng khởi động.