Trong một bài thử đếm khuẩn lạc, GPT-6 Astra không tách được các khuẩn lạc nằm sát nhau, bỏ sót dấu hiệu nhìn thấy được và đánh dấu cả vùng không có khuẩn lạc. Kết quả cao hơn giá trị tham chiếu khoảng 12%. Ở nhiệm vụ nhân bản DNA khác, mô hình đọc được các dải khuẩn lạc nhưng suy luận rằng sản phẩm PCR lớn hơn đồng nghĩa với nhân bản thành công, rồi chọn sai các làn cần kiểm tra.

Những ví dụ đó đặt cạnh điểm trung bình 66,7% cho thấy BioBasicsBench đang đo một năng lực hẹp nhưng quan trọng: AI agent có đọc được bằng chứng thí nghiệm thô, nhận ra điều kiện đối chứng và dừng lại khi dữ liệu chưa đủ hay không. Điểm này không cho biết mô hình sẽ tự vận hành một phòng thí nghiệm với tỷ lệ thành công tương tự.

Bài giới thiệu BioBasicsBench của OpenAI mô tả bộ đánh giá do OpenAI phối hợp với công ty công nghệ sinh học Ligo xây dựng. Với nhóm nghiên cứu, giá trị của bộ này nằm ở cách nó kiểm tra dữ liệu gốc và lỗi trong bối cảnh thí nghiệm, thay vì chỉ hỏi kiến thức sinh học đã được tóm tắt.

BioBasicsBench đo gì bằng dữ liệu thí nghiệm thô?

BioBasicsBench gồm 100 nhiệm vụ phòng thí nghiệm ướt, yêu cầu agent đọc dữ liệu, nhận diện lỗi và xem bằng chứng có đủ cho kết luận hay chưa. Dữ liệu trải từ ảnh gel, đĩa khuẩn lạc và ảnh hiển vi đến đầu ra thiết bị, nhật ký thao tác và tệp giải trình tự.

Các nhiệm vụ thuộc năm nhóm: phương pháp protein, phân tích ảnh và tế bào, phương pháp định lượng, phương pháp acid nucleic và nhân bản phân tử. Một câu hỏi thường yêu cầu đồng thời nhận diện hình ảnh, hiểu bối cảnh sinh học, đối chiếu điều kiện kiểm soát và phát hiện sai lệch trong quy trình.

Đầu vào không chỉ là biểu đồ đã được trình bày gọn trong bài báo. Bộ dữ liệu còn có ảnh ghi chép viết tay, tệp xuất từ máy đọc đĩa, ảnh hiển vi z-stack — chuỗi ảnh chụp ở các độ sâu khác nhau — cùng bản đồ plasmid hoặc bảng thông tin thuốc thử. Cách chọn dữ liệu này gần với công việc đọc kết quả hàng ngày hơn, nhưng cũng khiến nhiệm vụ phụ thuộc mạnh vào thiết bị và cách ghi chép của nhóm tạo dữ liệu.

Chuyên gia xây dựng tiêu chí chấm cho từng nhiệm vụ. Các nhà khoa học Ligo không tham gia ra đề, nhà nghiên cứu phòng thí nghiệm ướt bên ngoài và nhóm thẩm định nội bộ sau đó kiểm tra câu hỏi cùng đáp án. Một câu trả lời được chấm riêng ở phần kết luận, số liệu, lập luận hoặc nhận biết rằng bằng chứng chưa đủ.

LAB-Bench của Laurent và cộng sự tập trung vào các nhóm năng lực khác như tra cứu tài liệu, đọc biểu đồ, thao tác cơ sở dữ liệu và xử lý chuỗi. BenchBench-Protocol của Sivakumar và cộng sự lại đánh giá việc suy luận và sửa đổi quy trình thí nghiệm. Các bộ này bổ sung cho nhau, không nên được xếp hạng bằng một con số duy nhất.

Điểm 66,7% của GPT-6 Astra nói lên điều gì?

66,7% là tỷ lệ điểm GPT-6 Astra nhận được trên 100 nhiệm vụ, mỗi nhiệm vụ được trả lời năm lần trong cấu hình suy luận xhigh. Đây không phải tỷ lệ thí nghiệm thành công, tỷ lệ câu trả lời hoàn toàn đúng hay tỷ lệ công việc agent đủ sức làm độc lập.

Kết quả OpenAI công bố cho cấu hình xhigh ghi nhận điểm trung bình 66,7%, với khoảng tin cậy 95% từ 60,3% đến 73,1%. GPT-6.1 Sol đạt 62,0% và GPT-5.6 Sol đạt 43,8% trong cùng phần so sánh. Toàn bộ phép thử gồm 37 mô hình và cấu hình suy luận; mỗi cấu hình tạo 500 câu trả lời, tổng cộng 18.500 kết quả.

Mỗi nhiệm vụ có nhiều tiêu chí nên câu trả lời đúng một phần vẫn nhận điểm. Khoảng tin cậy mô tả độ bất định của ước tính theo cách lấy mẫu lại ở cấp nhiệm vụ; nó không có nghĩa mô hình sẽ đúng 95% khi gặp một mẫu thật. Khi so sánh, cần giữ nguyên cấu hình suy luận, độ dài đầu ra, nhiệm vụ và cách chấm.

Khoảng cách giữa benchmark và công việc thật còn đến từ chất lượng mẫu, sai khác thiết bị, nhật ký thiếu, quy trình xử lý thất bại và người chịu trách nhiệm duyệt kết quả. BioBasicsBench đánh giá câu trả lời trên dữ liệu được chọn, không đánh giá toàn bộ chuỗi thao tác giữa các phòng thí nghiệm.

Những lỗi nào cho thấy giới hạn của agent?

Agent thường nhìn đúng một chi tiết nhưng vẫn đưa ra kết luận sai khi bỏ qua đối chứng hoặc tín hiệu trái chiều. Vì vậy, cần lưu cả dữ liệu gốc, nhãn mẫu và đường đi của lập luận thay vì chỉ lưu câu trả lời cuối.

Trong nhiệm vụ nhân bản DNA, GPT-5.6 Sol dựa vào việc đối chứng âm không có khuẩn lạc. GPT-6 Astra lại nhận ra nhãn đĩa ghi kanamycin trong khi thí nghiệm dùng ampicillin, nên kết luận đĩa đó không phải đối chứng đáng tin cậy. Trường hợp này cho thấy một lỗi trên nhãn đủ làm thay đổi khả năng so sánh của toàn bộ kết quả.

Ở nhiệm vụ hiển vi, GPT-5.6 Sol xem việc tế bào xuất hiện rồi biến mất trong chuỗi ảnh là biến đổi sinh học. GPT-6 Astra nhận ra đó là z-stack, tức chuỗi ảnh theo độ sâu. Tuy nhiên, khi đọc một nhiệm vụ về không bào, Astra vẫn bỏ qua các không bào sáng hơn dù độ tương phản đổi chiều giữa các lớp tiêu cự. Nhìn thấy dữ kiện không đồng nghĩa với việc đưa dữ kiện đó vào kết luận.

Ba tình huống gồm nhãn đĩa ghi sai kháng sinh, ảnh hiển vi thay đổi theo độ sâu và tín hiệu độ sáng mâu thuẫn (ảnh minh họa)

Những lỗi trên là ví dụ trong tập nhiệm vụ được công bố, không phải bằng chứng rằng mọi mô hình hay mọi loại ảnh đều mắc cùng một lỗi. Khi dùng agent, nhóm nghiên cứu cần quy định ai kiểm tra nhãn, ai xác nhận đối chứng và khi nào đầu ra phải bị trả lại vì thiếu dữ liệu.

Quy trình chọn dữ liệu lịch sử, chấm mù đầu ra của agent, phân loại lỗi và chỉ định điểm ký duyệt (ảnh minh họa)

Tại Việt Nam thì sao

Ở Việt Nam, nhóm nghiên cứu nên bắt đầu bằng quy trình cần hỗ trợ thay vì bắt đầu bằng bảng xếp hạng mô hình. Phân tích ảnh gel, đếm khuẩn lạc, đọc kết quả máy, tìm tài liệu và sửa quy trình có dữ liệu đầu vào, quyền truy cập và hậu quả khi sai khác nhau. Mỗi quy trình nên có bộ thử riêng, gồm cả mẫu khó, mẫu có lỗi nhãn và trường hợp bằng chứng chưa đủ.

Về giá, báo giá của nhà cung cấp không chỉ là phí gọi mô hình. Doanh nghiệp hoặc trường đại học cần hỏi rõ cách tính theo lượt gọi, người dùng, dung lượng tệp và thời gian lưu; phí kết nối với thiết bị; phí hỗ trợ kỹ thuật; khả năng xử lý tiếng Việt; chi phí tạo nhật ký và nhân sự kiểm duyệt. Hiện chưa có bảng giá chính thức của cơ quan chức năng Việt Nam để so sánh chi phí AI agent giữa các phòng thí nghiệm. Vì vậy, báo giá thử nghiệm nên ghi thời hạn, hạn mức, đơn vị tiền tệ, điều kiện vượt hạn mức và chi phí chuyển dữ liệu.

Trước khi đưa dữ liệu mẫu vào dịch vụ bên ngoài, nhóm cần lập danh mục dữ liệu. Tên người tham gia, thông tin bệnh nhân, mã mẫu gắn với cá nhân, dữ liệu nhân sự và kết quả chưa công bố không nên bị đưa vào thử nghiệm chỉ vì công cụ đọc được tệp. Nghị định 13/2023/NĐ-CP về bảo vệ dữ liệu cá nhân trên Cổng thông tin điện tử Chính phủ là một văn bản cần tra cứu khi hệ thống xử lý dữ liệu cá nhân tại Việt Nam. Nhóm phải xác định mục đích xử lý, bên được truy cập, thời gian lưu và cách xóa hoặc xuất dữ liệu theo quy trình của đơn vị.

Quy định về AI cũng cần được kiểm tra theo loại hình tổ chức và mục đích sử dụng, không suy ra từ điểm benchmark. Quyết định 127/QĐ-TTg về chiến lược quốc gia nghiên cứu, phát triển và ứng dụng trí tuệ nhân tạo đến năm 2030 cung cấp hướng chính sách chung của Việt Nam, nhưng không phải giấy phép tự động cho một hệ thống xử lý mẫu hoặc dữ liệu nội bộ. Khi xin hỗ trợ, hợp tác hoặc triển khai tại cơ quan công, đơn vị cần đọc thông báo và điều kiện cụ thể của chương trình còn hiệu lực.

Mức độ sẵn có tại Việt Nam khác theo nhà cung cấp, nơi lưu dữ liệu, khả năng kết nối thiết bị và điều khoản thay đổi mô hình. Trước khi thử, nhóm nên yêu cầu trả lời bằng văn bản về phiên bản mô hình, thời gian lưu tệp, quyền dùng dữ liệu để cải thiện dịch vụ, nhật ký truy cập, khả năng xuất kết quả và phương án quay lại quy trình thủ công. Nếu nhà cung cấp chưa trả lời được, đó là một giới hạn của thử nghiệm và cần được ghi vào hồ sơ quyết định.

Một phòng thí nghiệm đại học nên bắt đầu bằng dữ liệu lịch sử đã loại thông tin nhận diện, cho agent phân loại lỗi ảnh nhưng không cho phép nó gửi kết quả ra ngoài hoặc sửa hồ sơ gốc. Một doanh nghiệp công nghệ sinh học nên giữ riêng tập mẫu chưa từng dùng để chỉnh prompt, rồi để nhà nghiên cứu chấm mù đầu ra. Những ví dụ này chỉ mô tả cách thiết kế phép thử; chúng không chứng minh dịch vụ nào đã đáp ứng yêu cầu ở Việt Nam.

Đánh giá agent thế nào trước khi đưa vào quy trình?

Điểm benchmark nên là tín hiệu sàng lọc, sau đó phải được kiểm tra bằng dữ liệu và lỗi của chính nhóm sử dụng. Năm bước dưới đây giúp tách điểm số khỏi quyết định triển khai.

  1. Đối chiếu nhiệm vụ: liệt kê loại ảnh, tệp, đầu ra và lỗi thường gặp rồi so với phạm vi của BioBasicsBench.
  2. Định nghĩa lỗi không chấp nhận: tách lỗi bỏ sót nhãn khỏi lỗi đủ làm chọn sai mẫu, sai quy trình hoặc sai kết luận.
  3. Tạo thử nghiệm nội bộ: dùng dữ liệu lịch sử, chấm mù và ghi riêng kết quả đúng, đúng một phần, bỏ sót và suy diễn quá mức.
  4. Đặt điểm duyệt: xác định đầu ra nào cần nhà nghiên cứu ký, dữ liệu thiếu thì trả về ra sao và ai được phép dừng quy trình.
  5. Ghi điều kiện vận hành: lưu phiên bản mô hình, quyền dữ liệu, nhật ký, chi phí, thời gian xử lý và cách khôi phục thao tác thủ công.

Nhóm đang so sánh các agent cũng cần kiểm tra năng lực khái quát, không chỉ nhìn điểm tăng trên một bộ nhiệm vụ. Có thể xem cách kiểm tra AI agent có thực sự chuyển năng lực sang nhiệm vụ mới hay không. Với dữ liệu thí nghiệm, tập giữ lại chỉ độc lập nếu nhóm không dùng kết quả của tập đó để sửa hệ thống hoặc chọn phiên bản.

BioBasicsBench bổ sung một mảnh quan trọng: khả năng đọc dữ liệu thô và phát hiện bối cảnh làm thay đổi kết luận. Nó không thay thế phép thử riêng của từng phòng thí nghiệm, quy trình kiểm soát chất lượng hay trách nhiệm của nhà nghiên cứu. Trước khi tin vào 66,7%, nhóm cần trả lời ba câu hỏi: agent sẽ đọc dữ liệu nào, lỗi nào không được phép xảy ra và ai chịu trách nhiệm với kết luận cuối.

Câu hỏi thường gặp

BioBasicsBench có bao nhiêu nhiệm vụ?
BioBasicsBench có 100 nhiệm vụ về dữ liệu phòng thí nghiệm ướt, thuộc năm nhóm gồm phương pháp protein, phân tích ảnh và tế bào, định lượng, acid nucleic và nhân bản phân tử.

66,7% có nghĩa GPT-6 Astra làm đúng hai phần ba số thí nghiệm không?
Không. Đây là tỷ lệ điểm theo nhiều tiêu chí chấm trong cấu hình xhigh. Mô hình không tự hoàn thành một chuỗi thí nghiệm thực tế để tạo ra con số đó.

BioBasicsBench có chứng minh AI agent đã đủ khả năng làm thí nghiệm độc lập không?
Không. Bộ này đo khả năng trả lời trên dữ liệu và nhiệm vụ đã chọn, chưa bao quát thiết bị, mẫu, thao tác, xử lý thất bại và trách nhiệm trong từng phòng thí nghiệm.

Nhóm nghiên cứu nên bắt đầu kiểm tra từ đâu?
Chọn một quy trình hẹp, loại thông tin không cần thiết, giữ người duyệt, dùng tập dữ liệu không tham gia chỉnh agent và ghi lại lỗi cùng chi phí trước khi mở rộng.