Điểm số AI agent tăng chưa chắc đã khái quát: 5 bước kiểm tra

Điểm benchmark của AI agent tăng chỉ cho biết hệ thống làm tốt hơn trong cấu hình đánh giá đã chọn. Muốn biết cải tiến có chuyển sang nhiệm vụ mới hay không, nhóm phát triển phải tách mục đích sử dụng nhiệm vụ, giữ một tập không tham gia chọn phiên bản và ghi lại mọi lần hệ thống tiếp xúc với dữ liệu đánh giá.

Điểm benchmark tăng chưa đồng nghĩa năng lực khái quát

Một điểm số cao hơn không tự chứng minh AI agent đã học được cách giải quyết vấn đề dùng được ở nơi khác. Nếu nhóm liên tục đọc kết quả của cùng một bộ nhiệm vụ rồi sửa prompt, công cụ, bộ nhớ hoặc quy trình điều khiển, agent dễ dần thích nghi với cách đặt câu hỏi và quy tắc chấm điểm của bộ đó.

Kiểu thích nghi này không nhất thiết là gian lận hay ghi nhớ đáp án. Agent dễ học vị trí tệp, thứ tự thao tác, tên nhiệm vụ, giao diện công cụ hoặc tín hiệu nhỏ trong bộ kiểm tra. Khi đổi thư viện mã, nguồn dữ liệu, công cụ hay phương pháp xác minh, phần điểm tăng dễ giảm.

Vấn đề nằm ở chỗ một bộ nhiệm vụ vừa đóng vai trò tín hiệu để cải tiến, vừa làm thước đo cuối cùng. Kết quả khi đó không còn là phép kiểm tra độc lập. Nghiên cứu về reusable holdout của Dwork và cộng sự mô tả thách thức khi dữ liệu được xem đi xem lại để chọn các phân tích mới; cách nhìn này cũng áp dụng cho việc chọn phiên bản AI agent sau nhiều vòng thử.

RRSI kiểm soát phần nào của quá trình tự cải thiện?

Bài nghiên cứu RRSI giới thiệu Regularized Recursive Self-Improvement of Agent Harnesses. Agent harness là lớp prompt, luồng điều khiển, công cụ, bộ nhớ và quản lý ngữ cảnh bao quanh mô hình nền. Vì lớp này thay đổi hành vi của agent ngay cả khi trọng số mô hình không đổi, nó cũng cần được đánh giá như một phần của hệ thống.

RRSI giới hạn số thay đổi mà một đề xuất được phép gộp trong mỗi vòng, khuyến khích tìm hướng chưa được thử và lưu lịch sử tiến hóa. Ở bước chọn, hệ thống sàng lọc thay đổi có chứa tên nhiệm vụ, đáp án hoặc logic riêng của benchmark. Những cải thiện nhỏ hơn dao động ước tính, tốn thêm chi phí suy luận hoặc không còn hữu ích sẽ bị loại.

Nhóm tác giả báo cáo kết quả trên tám benchmark thuộc các nhóm lập trình, agent làm việc trong không gian công cụ và thiết kế kỹ thuật. Bài báo nêu mức tăng trên tập được tiến hóa và trên các benchmark ngoài phân phối, đồng thời ghi nhận mức dùng token chính sách thấp hơn so với tiến hóa không có ràng buộc. Các con số này mô tả thí nghiệm của bài báo, không phải bảo đảm cho mọi mô hình hoặc quy trình phát triển.

Năm bước kiểm tra mức độ khái quát

Đánh giá tốt phải cho biết agent đã thấy gì, điểm số dao động ra sao và chi phí nào đi kèm. Một bảng điểm đơn lẻ không trả lời được ba câu hỏi đó.

1. Chia nhiệm vụ theo mục đích: dùng tập điều chỉnh để sửa lỗi, tập xác minh để so sánh ứng viên và tập giữ lại cho lần kiểm tra cuối.
2. Ghi lịch sử tiếp xúc: đánh dấu nhiệm vụ nào được dùng để tạo thay đổi, đọc quỹ đạo lỗi, chỉnh tham số, so sánh ứng viên hoặc chọn bản phát hành.
3. Đổi nhiệm vụ và công cụ: thêm trường hợp có mô tả, giao diện, nguồn dữ liệu hoặc cách chấm khác để xem agent có chỉ thích nghi với benchmark cũ không.
4. Lặp lại cùng điều kiện: chạy nhiều lần, ghi khoảng dao động và chi phí, tránh coi một lần tăng điểm do ngẫu nhiên là tiến bộ ổn định.
5. Lưu phiên bản và lý do chọn: giữ benchmark, cách chia nhiệm vụ, prompt, công cụ, thay đổi từng vòng, kết quả và lý do chấp nhận.

Nếu cùng một mô hình tạo cả chương trình kiểm tra lẫn mã được kiểm tra, hai phần dễ chia sẻ giả định. Vì vậy, phép tự kiểm tra này không đủ làm bằng chứng độc lập. Nhóm nên kết hợp trường hợp từ nguồn khác, kiểm tra quy tắc, đánh giá của con người hoặc một quy trình chấm riêng.

Với agent được giao việc cho nhiều agent khác hoặc được phép gọi công cụ bên ngoài, phạm vi kiểm tra phải bao gồm bàn giao, quyền truy cập, xử lý lỗi, phục hồi và điểm cần con người phê duyệt. Hệ thống càng gây hậu quả lớn khi sai, yêu cầu về bằng chứng và khả năng dừng càng phải cao.

Tại Việt Nam thì sao

Doanh nghiệp ở Việt Nam khi mua hoặc tự xây AI agent nên bắt đầu bằng tình huống sử dụng, không bắt đầu bằng điểm benchmark hay lời quảng cáo về mô hình. Một quy trình chăm sóc khách hàng, tra cứu tài liệu nội bộ và sửa mã có dữ liệu, quyền truy cập và hậu quả khi sai khác nhau. Vì vậy, cùng một agent thường cần bộ kiểm tra riêng cho từng quy trình, thay vì dùng một điểm chung để quyết định triển khai.

Về chi phí, giá niêm yết của nhà cung cấp chỉ là một phần. Đơn vị sử dụng còn phải hỏi cách tính theo người dùng hoặc lượt gọi, phí lưu trữ, chi phí tích hợp, thời gian phản hồi, hỗ trợ tiếng Việt, phí phát sinh khi dùng công cụ bên ngoài và chi phí nhân sự để duyệt đầu ra. Một lựa chọn rẻ trên bảng giá vẫn dễ đắt hơn nếu nhân viên phải sửa nhiều kết quả hoặc doanh nghiệp phải tự xây lớp kiểm tra, nhật ký và phân quyền.

Tính đến thời điểm bài viết được thực hiện, chúng tôi chưa tìm thấy bảng giá hoặc số liệu chính thức của cơ quan chức năng Việt Nam để so sánh chi phí triển khai AI agent giữa các ngành. Doanh nghiệp nên yêu cầu báo giá ghi rõ thời hạn, giới hạn sử dụng, dữ liệu được lưu ở đâu và cách tính khi vượt hạn mức. Các giả định đó cần được lưu cùng kết quả thử để lần đánh giá sau còn so sánh được.

Quyết định 127/QĐ-TTg của Thủ tướng Chính phủ ban hành chiến lược quốc gia về nghiên cứu, phát triển và ứng dụng trí tuệ nhân tạo đến năm 2030 là nguồn chính sách để doanh nghiệp tra cứu định hướng chung của Việt Nam. Đây không phải giấy phép chung cho mọi hoạt động dùng AI. Khi tìm chương trình hỗ trợ, đào tạo hoặc hợp tác, cần kiểm tra thông báo cụ thể của cơ quan chủ trì và điều kiện còn hiệu lực tại thời điểm đăng ký.

Dữ liệu đưa vào agent cần được lập danh mục trước khi thử. Nghị định 13/2023/NĐ-CP về bảo vệ dữ liệu cá nhân được đăng trên Cổng thông tin điện tử Chính phủ là một điểm tra cứu khi hệ thống xử lý dữ liệu khách hàng, người lao động hoặc người dùng. Nhóm triển khai nên xác định mục đích xử lý, loại dữ liệu, người được truy cập, thời gian lưu và bên cung cấp dịch vụ nhận dữ liệu. Nếu agent đọc tài liệu nội bộ hoặc ghi kết quả vào hệ thống khác, luồng dữ liệu đó cũng phải được ghi lại.

Ví dụ, một doanh nghiệp thương mại điện tử thử agent soạn trả lời nhưng giữ bước duyệt trước khi gửi. Một đội phát triển phần mềm cho agent phân loại lỗi, song cần giới hạn quyền sửa mã và dùng tập giữ lại không xuất hiện trong các vòng chỉnh prompt. Một doanh nghiệp tuyển dụng cần kiểm tra ai chịu trách nhiệm xem lại tiêu chí và kết quả gợi ý trước khi dùng trong quy trình nhân sự. Các ví dụ này cho thấy cách chia nhiệm vụ và quyền hạn; chúng không phải kết luận rằng một agent đã an toàn cho mọi ngành.

Mức độ sẵn có của dịch vụ tại Việt Nam còn phụ thuộc kết nối, ngôn ngữ, nơi lưu dữ liệu, khả năng tích hợp và điều khoản của từng nhà cung cấp. Trước khi ký hợp đồng, doanh nghiệp nên hỏi về phiên bản mô hình, cách thông báo thay đổi, quyền xóa hoặc xuất dữ liệu, nhật ký truy cập và khả năng quay lại quy trình thủ công. Khi chưa xác định được câu trả lời, nên coi đó là giới hạn của thử nghiệm và ghi vào hồ sơ quyết định.

RRSI hỗ trợ kiểm tra, không thay thế bằng chứng triển khai

RRSI đưa ra một cách hạn chế tìm kiếm quá khớp với benchmark, nhưng không biến điểm số thành bằng chứng phổ quát. Kết quả vẫn phụ thuộc nhiệm vụ, mô hình, công cụ, cách chấm và điều kiện chạy. Tập giữ lại cũng mất tính độc lập nếu nhóm liên tục xem kết quả rồi chỉnh hệ thống.

Đối với nhóm phát triển, bước thực tế là lập sổ theo dõi nhiệm vụ và quyết định: nhiệm vụ nào dùng để sửa, ai xem kết quả, phiên bản nào được chọn, điểm thay đổi bao nhiêu, chi phí tăng ra sao và còn giới hạn nào. Hồ sơ như vậy giúp phân biệt cải tiến dễ tái sử dụng với thích nghi chỉ có lợi trong một bộ kiểm tra.

Câu hỏi thường gặp

AI agent nhớ dấu hiệu của benchmark có phải luôn là gian lận không?
Không. Agent dễ thích nghi với cấu trúc nhiệm vụ, công cụ hoặc cách chấm. Muốn kết luận cần xem nguồn dữ liệu, lịch sử tiếp xúc và cách tạo thay đổi.

Không dùng tập giữ lại để huấn luyện đã đủ chưa?
Chưa. Nếu điểm của tập đó được dùng để chỉnh hệ thống hoặc chọn phiên bản, nó đã trở thành tín hiệu quyết định. Nhóm cần ghi lần xem kết quả và giữ thêm phép kiểm tra độc lập khi cần.

Đổi benchmark có chứng minh agent làm được việc thật không?
Không. Benchmark khác bổ sung bằng chứng về nhiệm vụ và công cụ khác, nhưng không bao phủ dữ liệu, quyền hạn, quy trình lỗi và giám sát trong môi trường triển khai.

Nhóm nhỏ nên bắt đầu từ đâu?
Chọn một quy trình hẹp, tách dữ liệu và quyền truy cập, giữ người duyệt, đặt điều kiện dừng, rồi lưu phiên bản cùng kết quả trước khi mở rộng.