TasteVal đo năng lực nghiên cứu AI đến đâu: hiệu quả thí nghiệm chưa phải tự cải tiến

P-Zero Research công bố TasteVal vào tháng 10 năm 2026 để đo cách mô hình AI thiết kế thí nghiệm và diễn giải kết quả trong các bài toán nghiên cứu đã định trước. Trong thiết lập này, Opus 5.5 đạt hiệu quả tính toán thực nghiệm gấp 2,30 lần mức chuẩn của chuyên gia. Con số này cho thấy một lát cắt đo được của năng lực nghiên cứu AI, chưa phải bằng chứng rằng hệ thống tự tìm đề tài hoặc tự xây dựng thế hệ mô hình mạnh hơn.

Sự khác biệt nằm ở điểm xuất phát. Khi con người giao sẵn câu hỏi nghiên cứu, mô hình cần tìm cách thử nghiệm và đọc tín hiệu từ kết quả. Khi hệ thống phải quyết định nên nghiên cứu vấn đề nào, xác định thành công ra sao và chuyển phát hiện thành năng lực mới, chuỗi công việc dài hơn nhiều. TasteVal chủ yếu kiểm tra phần đầu của chuỗi đó.

TasteVal tách phần thực nghiệm khỏi năng lực lập trình

Bài báo TasteVal của Oliver Jaffe và Dane Sherburn định nghĩa nghiên cứu có gu là khả năng chọn vấn đề đáng làm, thiết kế thí nghiệm và diễn giải kết quả. Bài đánh giá chỉ đo phần thực nghiệm: với một bài toán nghiên cứu cố định, mô hình lặp lại việc đề xuất thí nghiệm, xem kết quả rồi điều chỉnh hướng thử.

Mô hình được chấm điểm giữ vai trò Researcher. Nó đề xuất thí nghiệm và giải thích kết quả. Một tác nhân lập trình cố định đảm nhiệm phần viết mã, chạy thử và báo cáo đầu ra. Cách chia vai trò này nhằm hạn chế việc năng lực lập trình lấn át câu hỏi về phán đoán nghiên cứu.

Nhóm nghiên cứu xây dựng tám nhiệm vụ mở, gồm tuyển chọn dữ liệu tiền huấn luyện, tiền huấn luyện và tinh chỉnh mô hình ngôn ngữ, mô hình hóa ưu tiên và độ bền trước câu lệnh đối kháng. Mỗi lượt chạy dừng khi dùng hết 40 giờ GPU H100 hoặc 120 giờ theo thời gian thực. Hai giới hạn này giúp các mô hình được so sánh trong cùng ngân sách.

Nhóm nghiên cứu không công khai đề bài. Cách làm này giảm khả năng mô hình đã gặp đúng câu hỏi trước khi thi, nhưng khiến nhóm bên ngoài khó chạy lại toàn bộ đánh giá. Vì vậy, điểm số nên được đọc như một chuẩn so sánh trong bộ nhiệm vụ của nhóm tác giả. Một mô hình quen với dạng bài này vẫn có thể xếp hạng khác khi dữ liệu, điều kiện thành công hoặc lĩnh vực thay đổi.

Hiệu quả tính toán thực nghiệm là lượng tính toán theo chuỗi cần để mô hình đạt cùng mức điểm với chuyên gia. Nó không phải điểm tổng hợp về năng lực nghiên cứu, không đo giá trị của phát hiện và không tự nói lên khả năng tái lập. Một mô hình dùng ít lượt thử hơn vẫn cần vượt qua kiểm tra chất lượng và kiểm tra độc lập trước khi kết quả được dùng trong quy trình thật.

2,30 lần là kết quả có điều kiện

Opus 5.5 đạt hệ số 2,30 lần so với mức chuẩn chuyên gia trong cấu hình TasteVal. Cách diễn giải đúng là mô hình cần ít tính toán thực nghiệm hơn để đạt điểm tương đương trong các nhiệm vụ được chọn. Con số này không nói rằng kết quả nghiên cứu cuối cùng cao hơn 2,30 lần, cũng không nói mọi công việc nghiên cứu đều nhanh hơn con người.

Nghiên cứu sử dụng 24 chuyên gia, với ít nhất hai người cho mỗi nhiệm vụ, rồi lấy lần thử tốt nhất của từng nhiệm vụ làm chuẩn. Khoảng tin cậy 95% của hệ số là 1,15 đến 4,37 lần. Khoảng rộng cho thấy ước lượng còn phụ thuộc vào cách chọn mẫu và độ khó của từng bài. Nhóm chuyên gia được mời cũng không đại diện cho giới hạn năng lực của mọi nhà nghiên cứu hàng đầu.

Trang giới thiệu chính thức của P-Zero Research mô tả TasteVal là phép đo hiệu quả tính toán tương đối với chuyên gia và ghi rõ tám nhiệm vụ đại diện cho nghiên cứu AI tuyến đầu. Nguồn này cũng nhấn mạnh tác nhân lập trình cố định chạy trên một H100, trong khi mô hình được đánh giá tập trung vào thiết kế thí nghiệm và diễn giải kết quả.

Bài báo ước tính hiệu quả tính toán thực nghiệm của mô hình tiên tiến tăng gấp đôi khoảng mỗi ba tháng kể từ tháng 12 năm 2025, còn điểm số chuẩn hóa cuối cùng tăng gấp đôi khoảng mỗi 14,6 tháng. Hai đường này trả lời hai câu hỏi khác nhau. Một đường nói về lượng tài nguyên cần để thử nghiệm, đường kia nói về mức điểm sau cùng; không nên dùng đường đầu để suy ra tốc độ tăng toàn bộ năng lực nghiên cứu.

Chỉ số hiệu quả hữu ích khi đội ngũ muốn biết trong một ngân sách cố định có thể thử bao nhiêu phương án. Khi mục tiêu là tìm hướng nghiên cứu, tái lập kết quả hoặc cải thiện mô hình, cần ghi thêm chất lượng, thời gian kiểm tra, số lần thất bại và chi phí sửa lỗi. Nếu bảng điểm ưu tiên kết quả ngắn hạn dễ đo, hệ thống sẽ tập trung vào phần dễ đạt điểm và bỏ qua hướng có giá trị dài hạn nhưng cần nhiều thời gian xác minh.

Tự cải tiến cần chọn đề tài và tích lũy năng lực

TasteVal giao sẵn mục tiêu cho mô hình nên không trả lời mô hình có tự phát hiện câu hỏi đáng nghiên cứu hay không. Quy trình nghiên cứu đầy đủ còn gồm chọn hướng, đặt giả thuyết, thiết kế kiểm tra, đọc bằng chứng và quyết định cách dùng kết quả. Một bài đánh giá chỉ quan sát phần thiết kế và diễn giải chưa thể đại diện cho toàn bộ chu trình.

Google DeepMind mô tả AlphaEvolve là tác nhân dùng Gemini, sinh chương trình rồi chạy qua bộ đánh giá để tiếp tục tìm phương án tốt hơn. DeepMind cho biết hệ thống đã được dùng trong các ví dụ như lập lịch trung tâm dữ liệu, một số phép nhân ma trận và cải thiện quy trình liên quan đến huấn luyện mô hình.

AlphaEvolve hoạt động thuận lợi khi mục tiêu được viết thành bộ đánh giá có đầu ra rõ ràng. Chương trình ứng viên chạy được, điểm số được ghi lại và phương án tốt hơn được giữ cho vòng sau. Nhiều câu hỏi nghiên cứu không có một điểm số tức thời như vậy. Chúng còn liên quan đến chất lượng dữ liệu, khả năng áp dụng bên ngoài bộ thử, chi phí, độ an toàn và lựa chọn đạo đức.

Vì thế, một vòng lặp tự động thành công trong tối ưu hóa thuật toán chưa chứng minh hệ thống tự quyết định chương trình nghiên cứu rộng hơn. Trước khi mở rộng kết luận, cần hỏi bộ đánh giá có bỏ sót chi phí nào không, mô hình có đề xuất được thước đo hợp lý không và kết quả có giữ nguyên trên dữ liệu chưa từng thấy không.

Bản thảo Atria Dawn phân tích nhật ký nhiệm vụ và hoạt động của tác nhân trong một quy trình nghiên cứu có con người tham gia. Theo phần tóm tắt được công bố, tác nhân thường đề xuất phương pháp và thực hiện sửa đổi, còn con người giữ phần lớn quyết định cuối cùng để định hướng việc khám phá.

Đây là một trường hợp hợp tác của một nhóm, không phải phép đo độc lập về năng lực tự cải tiến. Muốn biết sự phân công có chuyển thành tự chủ hay không, cần theo dõi khi mức can thiệp của con người giảm: chất lượng có giữ được không, tác nhân có nhận ra kết quả sai không, hướng nghiên cứu có được sửa không và phát hiện của bài trước có dùng được trong nhiệm vụ mới không.

Dự báo full RSI năm 2027 là nhận định cá nhân

Trong bản tin Import AI tháng 10 năm 2026, Jack Clark viết rằng ông đánh giá khả năng full RSI trở nên khả thi vào năm 2027 cao hơn trước. Đây là dự báo cá nhân của Clark, không phải kết quả của TasteVal và cũng không phải mốc thời gian đã được xác nhận.

Full RSI thường được dùng để chỉ vòng lặp trong đó AI hỗ trợ cải thiện nghiên cứu và quy trình huấn luyện, rồi tạo ra hệ thống kế tiếp mạnh hơn. Nhưng mức tự chủ trong định nghĩa này chưa cố định. Một hệ thống giúp con người sửa thuật toán, một tác nhân tối ưu trong bộ đánh giá có sẵn và một hệ thống tự chọn đề tài rồi biến phát hiện thành năng lực mới là ba mức khác nhau.

Do đó, khi đọc dự báo theo năm, cần hỏi ngưỡng khả thi được đặt ở đâu. Nếu chỉ cần AI hỗ trợ một số khâu, bằng chứng hiện có gần hơn với mục tiêu đó. Nếu yêu cầu hệ thống tự lập kế hoạch, tự thực hiện, tự kiểm tra và tự chuyển kết quả sang thế hệ tiếp theo, khoảng cách bằng chứng lớn hơn nhiều.

Tại Việt Nam thì sao

Đối với doanh nghiệp và nhóm nghiên cứu ở Việt Nam, TasteVal hữu ích nhất như một cách đặt câu hỏi khi mua hoặc tự xây dựng công cụ AI, không phải bảng giá hay chứng nhận năng lực. Chi phí thường tách thành phí mô hình, số lượt gọi, máy chủ, lưu trữ, kết nối dữ liệu, tích hợp phần mềm, nhân sự kiểm tra và thời gian chạy lại thí nghiệm. Một dịch vụ có mức niêm yết thấp vẫn tạo tổng chi phí cao nếu nhân viên phải sửa đầu ra, chạy lại nhiều lần hoặc xử lý sự cố quyền truy cập.

Người mua nên yêu cầu báo giá theo đúng cách dùng dự kiến: số tài khoản, số lượt gọi, độ dài dữ liệu, khu vực lưu trữ, thời gian phản hồi, giới hạn theo ngày và phí vượt mức. Với công cụ dùng cho nghiên cứu, cần hỏi riêng chi phí GPU, thời gian giữ nhật ký, khả năng xuất kết quả và phí chạy các bài kiểm tra lặp lại. Nếu nhà cung cấp chỉ đưa một con số theo tháng mà không nói rõ hạn mức, con số đó chưa đủ để so sánh hai dịch vụ.

Quyết định 127/QĐ-TTg về chiến lược quốc gia nghiên cứu, phát triển và ứng dụng trí tuệ nhân tạo đến năm 2030 là điểm tra cứu chính sách chung tại Việt Nam. Văn bản này không tự biến một công cụ thương mại thành hệ thống đã được phép dùng cho mọi dữ liệu. Khi xem một chương trình hỗ trợ, đào tạo hoặc mua sắm, doanh nghiệp cần kiểm tra cơ quan chủ trì, đối tượng được áp dụng, thời hạn và thủ tục trong thông báo hiện hành.

Dữ liệu đưa vào bài đánh giá cũng cần được phân loại trước khi chạy. Nếu dữ liệu có thông tin về khách hàng, người lao động, người học hoặc người dùng, nhóm triển khai phải biết ai được truy cập, mục đích xử lý là gì, giữ dữ liệu trong bao lâu và nhà cung cấp có dùng dữ liệu để cải thiện dịch vụ hay không. Đội ngũ không nên đưa dữ liệu thật vào tài khoản thử nghiệm chỉ vì công cụ có giao diện tiếng Việt hoặc cho dùng miễn phí.

Nghị định 13/2023/NĐ-CP về bảo vệ dữ liệu cá nhân là nguồn cần đối chiếu khi hệ thống AI xử lý dữ liệu cá nhân tại Việt Nam. Bảng kiểm nội bộ nên ghi loại dữ liệu, mục đích, bên được phép truy cập, nơi lưu, thời gian lưu và các bên xử lý liên quan. Nếu hợp đồng cho phép chuyển dữ liệu cho đối tác hoặc dùng dữ liệu để huấn luyện, điều khoản đó cần được làm rõ trước khi ký và trước khi mở rộng thử nghiệm.

Luật Công nghiệp công nghệ số số 71/2025/QH15 trên Cơ sở dữ liệu quốc gia về văn bản pháp luật là nguồn cần kiểm tra khi hoạt động liên quan đến công nghiệp công nghệ số hoặc AI. Doanh nghiệp nên đọc phạm vi áp dụng và văn bản hướng dẫn tại thời điểm triển khai. Nội dung giới thiệu của nhà cung cấp, bài đăng trên mạng xã hội hoặc cam kết trong bản trình diễn không thay cho việc kiểm tra văn bản pháp luật và hợp đồng cụ thể.

Mức độ sẵn có của công cụ AI tại Việt Nam còn phụ thuộc ngôn ngữ, kết nối, nơi đặt máy chủ, khả năng tích hợp và chất lượng dữ liệu. Một cửa hàng có thể thử công cụ để soạn bản nháp trả lời khách hàng, nhưng nên giữ bước duyệt trước khi gửi. Nhóm tuyển dụng cần xác định ai kiểm tra tiêu chí và kết quả gợi ý. Doanh nghiệp sản xuất cần ghi phiên bản phần mềm, người duyệt cảnh báo và điều kiện dừng quy trình. Những ví dụ này cho thấy cách chia nhỏ tình huống để đánh giá, không phải khẳng định mọi ngành có cùng mức rủi ro.

Với nhóm nghiên cứu, một bài đánh giá nội bộ nên ghi cả số lượt thử, thời gian của con người, chi phí tính toán, tỷ lệ lỗi, thời gian tái lập và kết quả trên dữ liệu giữ lại. Chỉ ghi số thí nghiệm hoàn thành sẽ che khuất thời gian sửa mã hoặc kiểm tra kết quả. Nếu công cụ đề xuất hướng mới, người phụ trách cần tách phần ý tưởng do hệ thống đưa ra khỏi phần lựa chọn và phê duyệt của con người. Cách ghi này giúp doanh nghiệp biết mức 2,30 lần trong một bài đánh giá có liên quan đến quy trình của mình hay không.

Tính đến thời điểm bài viết được thực hiện, chúng tôi chưa tìm thấy bảng giá hoặc số liệu chính thức của cơ quan chức năng Việt Nam để so sánh chi phí triển khai TasteVal hay các bài đánh giá năng lực nghiên cứu AI giữa các ngành. Doanh nghiệp nên hỏi trực tiếp nhà cung cấp về hạn mức, phí phát sinh, nơi xử lý dữ liệu và điều kiện xuất dữ liệu, sau đó lưu lại ngày nhận báo giá. Khi quy định hoặc sản phẩm thay đổi, bảng so sánh cần được cập nhật thay vì dùng lại một con số cũ.

Ba câu hỏi trước khi dùng điểm đánh giá

Trước tiên cần xác định ai đặt mục tiêu. Nếu đề tài do người dùng hoặc nhóm đánh giá chọn sẵn, điểm số nói về khả năng xử lý đề tài đó, không nói về tự chọn hướng nghiên cứu. Tiếp theo là cách xác minh. Kết quả nên được kiểm tra trên dữ liệu chưa dùng để điều chỉnh tác nhân, với điều kiện thất bại và quy trình tái lập rõ ràng.

1. Mục tiêu đến từ đâu: người dùng, nhóm đánh giá hay mô hình tự chọn? Câu trả lời quyết định phạm vi kết luận.
2. Ai xác nhận thành công: bộ đánh giá tự động, người nghiên cứu hay cả hai? Cần ghi tiêu chí, dữ liệu và trường hợp thất bại.
3. Kinh nghiệm có chuyển sang bài mới không: mô hình có dùng được phát hiện của vòng trước trên nhiệm vụ khác không? Nếu chưa có dữ liệu dài hạn, không nên gọi đó là tự cải tiến.

Đội ngũ cũng nên so sánh với cách làm hiện tại, dùng bài thử mà mô hình chưa từng tham gia điều chỉnh và ghi thời gian duyệt của con người. Khi nhìn cả thành công, thất bại, tài nguyên, lỗi và chi phí kiểm tra, điểm đánh giá mới có ý nghĩa đối với quyết định triển khai.

Câu hỏi thường gặp

TasteVal đo năng lực nào của AI?
TasteVal đo cách mô hình thiết kế thí nghiệm, đọc kết quả và lặp lại trong một bài toán nghiên cứu đã cố định. Một tác nhân lập trình cố định chạy phần triển khai. Bài đánh giá không đo trực tiếp khả năng tự chọn đề tài.

2,30 lần có nghĩa Opus 5.5 mạnh hơn nhà nghiên cứu không?
Không. Đây là hệ số hiệu quả tính toán so với lần thử tốt nhất của nhóm chuyên gia trong các nhiệm vụ được chọn. Hệ số không đại diện cho mọi năng lực nghiên cứu và không phải mức tăng của kết quả cuối cùng.

AI thiết kế được thí nghiệm có nghĩa đã tự cải tiến chưa?
Chưa. Cần thêm bằng chứng về tự chọn hướng, xác minh độc lập, nhận ra sai lầm và chuyển kết quả sang nhiệm vụ mới. TasteVal chưa đo trọn chu trình đó.