Không có một bộ tăng tốc AI phù hợp với mọi khối lượng công việc. Hai nhóm phần cứng chính là bộ xử lý đồ họa (graphics processing unit, GPU) và mạch tích hợp chuyên dụng (application-specific integrated circuit, ASIC). Bộ tăng tốc của dịch vụ đám mây tạo thành hướng triển khai thứ ba. Trước khi xin báo giá, cần xác định mục đích sử dụng, tần suất đổi mô hình, độ trễ, thông lượng, bộ nhớ và khả năng chuyển phần mềm. Các câu trả lời tạo phạm vi cho thử nghiệm, thay vì biến số phép tính dấu phẩy động mỗi giây (FLOPS) thành tiêu chí duy nhất.

Doanh nghiệp tại Việt Nam và Đài Loan dùng chung được khung đánh giá, nhưng dữ liệu đầu vào phải theo địa điểm triển khai. Giá điện, báo giá đám mây, thuế, thời gian giao hàng và năng lực trung tâm dữ liệu đều mang tính địa phương. Một bảng giá tại khu vực khác không phản ánh toàn bộ chi phí vận hành tại chỗ. So sánh chỉ có ý nghĩa khi các phương án dùng cùng thời điểm báo giá, mức dịch vụ và tải thử.

Biến khối lượng công việc thành dữ liệu trước khi chọn chip

Mỗi dịch vụ cần một hồ sơ tải riêng, kể cả khi các dịch vụ dùng cùng họ mô hình. Phần mô hình ghi tên, phiên bản, số tham số, định dạng số, độ dài đầu vào và đầu ra cùng kích thước lô. Phần vận hành ghi số yêu cầu mỗi ngày và số yêu cầu mỗi giây ở giờ cao điểm. Hồ sơ cũng nêu mục tiêu độ trễ P50, P95, P99, mức sẵn sàng và độ nhạy dữ liệu. Phần tài nguyên ghi lượng bộ nhớ, bộ xử lý trung tâm (CPU), mạng và lưu trữ đã dùng trong cùng một lần chạy.

  • Tần suất thay đổi mô hình cho biết giải pháp phải thích ứng với kiến trúc, toán tử và phiên bản khung phần mềm mới nhanh đến đâu.
  • Mục tiêu huấn luyện, suy luận trực tuyến hoặc xử lý theo lô sắp xếp ưu tiên cho độ trễ, khả năng mở rộng và chi phí đơn vị.
  • Ngưỡng độ trễ phải nêu phân vị cần đạt, thay vì chỉ ghi một giá trị trung bình.
  • Thông lượng phải tính theo giờ cao điểm và số yêu cầu đồng thời, không chỉ dựa trên tổng số yêu cầu trong ngày.
  • Nhu cầu bộ nhớ phải được đo ở độ dài đầu vào, đầu ra và kích thước lô thực tế.
  • Khả năng chuyển phần mềm phải bao gồm khung mô hình, toán tử tùy chỉnh, trình biên dịch, công cụ giám sát và kỹ năng của đội vận hành.

Nếu chưa có các số liệu này, nhóm kỹ thuật nên thuê một lượng tài nguyên đám mây nhỏ để đo trước. Mẫu thử cần bao gồm tải ổn định, lúc khởi động mô hình và giờ cao điểm. Dữ liệu đo phải gắn với đúng phiên bản mô hình, phần mềm và cấu hình máy. Chỉ sau bước đó, yêu cầu mua máy chủ hoặc giữ trước năng lực đám mây mới có cơ sở định lượng.

Huấn luyện, suy luận trực tuyến và xử lý theo lô cần cấu hình khác nhau

Hướng dẫn cấu hình của NVIDIA, cập nhật ngày 6/8/2026, tách máy chủ suy luận và máy chủ huấn luyện học sâu thành hai nhóm cấu hình. Tài liệu cũng lưu ý kích thước tải, tập dữ liệu, mô hình và trường hợp sử dụng tác động đến lựa chọn phần cứng. Với cụm nhiều máy, NVIDIA đưa kết nối tốc độ cao và PCI Express (PCIe, chuẩn nối bộ xử lý với thiết bị) vào thiết kế hệ thống. Đây là điểm khởi đầu theo hệ sinh thái NVIDIA, không phải cấu hình chung cho mọi nhà cung cấp.

Huấn luyện lặp lại thường ưu tiên dung lượng bộ nhớ, tốc độ trao đổi giữa các bộ tăng tốc và hiệu quả mở rộng khi thêm máy. Suy luận trực tuyến đặt trọng tâm vào độ trễ đầu cuối, thông lượng lúc cao điểm và độ ổn định của dịch vụ. Xử lý theo lô cho phép xếp lịch vào thời gian ít tải nếu thời hạn hoàn thành vẫn được đáp ứng. Cùng một mô hình vì thế có khả năng dẫn tới ba cấu hình khác nhau theo cách sử dụng.

Phân loại này cũng giúp tránh mua thừa. Một dịch vụ suy luận nhỏ, thay đổi thường xuyên chưa chắc cần phần cứng chuyên dụng cố định. Một đợt huấn luyện ngắn không đủ để biện minh cho cả cụm máy tự xây nếu phần lớn thời gian cụm bị bỏ trống. Ngược lại, tải chạy đều với mức sử dụng cao cần được so bằng chi phí trên mỗi kết quả đạt chuẩn, thay vì giá thuê theo giờ đơn lẻ.

GPU, ASIC và bộ tăng tốc đám mây phù hợp với các điều kiện khác nhau

Phân tích của imec IC-Link ngày 27/4/2026 nêu ba chỉ số chính của phần cứng AI: thông lượng, độ trễ và hiệu quả năng lượng. imec IC-Link cho biết ASIC đạt hiệu năng cao nhất khi tác vụ khớp phần chuyên dụng và phần cứng luôn nhận đủ dữ liệu. GPU phục vụ phạm vi tác vụ rộng hơn nhờ khả năng lập trình và hệ công cụ đã phát triển. Tên loại chip tự nó chưa quyết định kết quả của một dịch vụ cụ thể.

GPU nên nằm trong danh sách thử khi mô hình còn đổi thường xuyên, nhóm dùng nhiều khung phần mềm hoặc quy mô chưa ổn định. ASIC đáng được đánh giá khi tác vụ ổn định lâu dài, sản lượng đủ lớn và điện năng hoặc chi phí mỗi lần suy luận trở thành giới hạn. Bộ tăng tốc đám mây cần một cột riêng vì doanh nghiệp mua thời gian sử dụng hoặc dung lượng đặt trước, thay vì sở hữu chip. Cột này phải ghi cả vùng triển khai, khả năng cấp đủ tài nguyên lúc cao điểm và công sức chuyển mô hình sang công cụ riêng của nền tảng.

  • GPU được ưu tiên thử khi tính linh hoạt và tốc độ đưa mô hình mới vào vận hành quan trọng hơn mức tối ưu của tải cố định.
  • ASIC chỉ vào vòng cuối khi tải đủ ổn định để ước tính sản lượng, thời gian sử dụng và chi phí chuyển đổi suốt vòng đời.
  • Dịch vụ đám mây được so như phương án hoàn chỉnh, gồm giá giờ máy, dung lượng đặt trước, chi phí cao điểm và kế hoạch chuyển nền tảng.

FLOPS cao không bảo đảm dịch vụ nhanh hơn

FLOPS mô tả năng lực tính toán, nhưng người dùng nhận kết quả của toàn bộ chuỗi xử lý. Tiền xử lý trên CPU, truyền dữ liệu, truy cập lưu trữ, nạp mô hình và hàng đợi đều có khả năng trở thành nút thắt. NVIDIA khuyến nghị phân bổ GPU cân bằng giữa các CPU và cổng PCIe; bộ điều hợp mạng cùng ổ NVMe nên nằm chung cấu trúc PCIe với GPU. Một chip nhanh hơn không rút ngắn độ trễ đầu cuối nếu thời gian chủ yếu nằm ngoài chip.

Nhu cầu bộ nhớ cũng phải được đo tại mức đồng thời và độ dài dữ liệu dự kiến. Cấu hình vừa đủ cho một yêu cầu đơn lẻ chưa chắc xử lý được giờ cao điểm mà không xếp hàng hoặc giảm kích thước lô. Thử nghiệm cần ghi thời gian cho từng giai đoạn, thay vì chỉ lấy thời gian chạy nhân tính toán. Nhật ký đó cho biết khoản đầu tư tiếp theo nên dành cho bộ tăng tốc, bộ nhớ, mạng, lưu trữ hay phần mềm.

Tổng chi phí ba năm gồm nhiều khoản ngoài giá chip

Tổng chi phí sở hữu (total cost of ownership, TCO) ba năm phải đặt phương án tự xây và đám mây vào cùng một phạm vi. Kỳ tính bắt đầu từ lúc triển khai, bao gồm cả giai đoạn chuyển đổi và phần tài nguyên nhàn rỗi. Mỗi phương án cần cùng đơn vị đầu ra, chẳng hạn chi phí cho 1.000 yêu cầu đạt ngưỡng chất lượng hoặc một đợt huấn luyện hoàn tất.

  • Chi phí tính toán gồm giá phần cứng, giờ sử dụng đám mây, dung lượng đặt trước và phụ phí khi vượt mức đã đặt.
  • Chi phí hạ tầng gồm điện, làm mát, diện tích phòng máy, mạng và lưu trữ.
  • Chi phí phần mềm gồm trình điều khiển, trình biên dịch, giám sát, điều phối và giấy phép nền tảng.
  • Chi phí nhân lực gồm chuyển mô hình, tối ưu hiệu năng, trực vận hành và xử lý sự cố.
  • Chi phí độ tin cậy gồm năng lực dự phòng, thay thiết bị hỏng và rủi ro từ thời gian giao hàng.
  • Chi phí rời nền tảng gồm chuyển đổi mô hình, di chuyển dữ liệu và xây lại quy trình vận hành.

imec IC-Link lưu ý giá mua hoặc giá thuê chỉ là một phần của TCO; điện, làm mát, nhân lực và phần mềm cũng phải được tính. Phân tích này đồng thời nêu chi phí phát triển ban đầu của ASIC cao, còn giá đơn vị phụ thuộc quy mô dự kiến. Vì imec IC-Link cung cấp dịch vụ phát triển ASIC, số liệu thương mại cụ thể vẫn cần đối chiếu bằng báo giá độc lập. Khung chi phí hữu ích cho cấu trúc so sánh, không phải cam kết rằng một loại chip luôn rẻ hơn.

Tại Việt Nam và Đài Loan, bảng TCO phải dùng giá điện, giá dịch vụ, thuế và chi phí nhân lực của nơi hệ thống thực sự hoạt động. Báo giá cần được lấy trong cùng khoảng thời gian và theo cùng điều kiện hỗ trợ. Với đám mây, vùng đặt tài nguyên cùng cam kết giữ trước ảnh hưởng đến phép so sánh. Với hệ thống tự xây, công suất điện và khả năng làm mát của phòng máy phải được xác nhận trước khi ký hợp đồng phần cứng.

Dùng mô hình và dữ liệu riêng để nghiệm thu

Kế hoạch thử tối thiểu gồm một tình huống bình thường, một tình huống cao điểm và một tình huống sự cố. Tình huống sự cố có thể là mất một nút, suy giảm đường truyền hoặc khởi động lại dịch vụ, tùy kiến trúc dự kiến. Tất cả phương án phải dùng cùng tập dữ liệu, phiên bản phần mềm, định dạng số và ngưỡng chất lượng đầu ra. Cấu hình phải được ghi đủ để một lần chạy sau tái tạo được kết quả.

  • Độ trễ được ghi theo P50, P95 và P99 để thấy cả trải nghiệm phổ biến lẫn phần đuôi chậm.
  • Thông lượng được đo tại tải bình thường và tải cao điểm, kèm số yêu cầu lỗi hoặc hết thời gian chờ.
  • Chất lượng đầu ra được so với cùng bộ tiêu chí chấp nhận, không đánh đổi âm thầm để lấy tốc độ.
  • Công suất và điện năng được đo trong toàn bộ lần chạy, gồm thời gian chờ và nạp mô hình.
  • Chi phí đơn vị chỉ tính trên yêu cầu hoặc lần chạy đạt đủ ngưỡng chất lượng và độ trễ.

Ngưỡng đạt hoặc không đạt phải được chốt trước khi xem kết quả. Phương án không chạy được toán tử bắt buộc, không đạt chất lượng hoặc vượt độ trễ bị loại trước khi so giá. Số liệu của nhà cung cấp phục vụ bước lập danh sách ngắn và kiểm tra xem cấu hình có đáng thử hay không. Hợp đồng nên dựa trên tải riêng và nêu cách xử lý khi năng lực thực tế không đạt mức đã nghiệm thu.

Thứ tự ra quyết định

Vòng đầu kiểm tra khả năng chạy đúng mô hình và phần mềm. Vòng thứ hai so chất lượng, độ trễ, thông lượng, mức ổn định và điện năng bằng cùng tải thử. Vòng thứ ba đưa các phương án đã đạt kỹ thuật vào bảng TCO ba năm. Vòng cuối xem thời gian giao hàng, hỗ trợ, điều kiện mở rộng, dữ liệu nhạy cảm và chi phí rời nền tảng.

Cách xếp vòng giữ cho một phương án rẻ nhưng không đạt yêu cầu kỹ thuật khỏi đứng đầu bảng. Nó cũng ngăn đội mua sắm trả thêm cho hiệu năng không giải quyết nút thắt của dịch vụ. Quyết định cuối cùng cần lưu lại giả định về sản lượng, giá, phiên bản phần mềm và thời điểm đo. Khi một giả định thay đổi đáng kể, bảng so sánh phải được lập lại.

Câu hỏi thường gặp

Suy luận luôn phù hợp với ASIC hơn GPU phải không?
Không. ASIC cần tác vụ đủ ổn định và quy mô đủ lớn để bù chi phí phát triển hoặc chuyển đổi. Lưu lượng suy luận thấp, mô hình đổi thường xuyên hoặc phụ thuộc toán tử mới vẫn có khả năng phù hợp hơn với GPU.

FLOPS cao hơn đồng nghĩa dịch vụ nhanh hơn phải không?
Không. Bộ nhớ, truyền dữ liệu, phần mềm, kích thước lô và hàng đợi tác động đến độ trễ đầu cuối. Chỉ thử nghiệm toàn bộ dịch vụ mới cho biết nút thắt nằm ở đâu.

Tự xây luôn rẻ hơn đám mây phải không?
Không có kết luận chung. Mức sử dụng, điện, làm mát, nhân lực, dự phòng và chi phí rời nền tảng phải nằm trong TCO ba năm. So sánh cần dùng cùng tải, cùng ngưỡng chất lượng và cùng địa điểm triển khai.

Chỉ số nào quan trọng nhất khi thử?
Chỉ số phải bám mức dịch vụ mà hệ thống cam kết. Với suy luận trực tuyến, độ trễ P95 hoặc P99, thông lượng, lỗi, chất lượng và chi phí mỗi yêu cầu thường đi cùng nhau. Một chỉ số đơn lẻ không đủ làm căn cứ ký hợp đồng.