DeepInfer là khung suy luận do DeepSeek công bố dưới giấy phép Apache 2.0, tập trung vào DeepSeek-V4.1-Flash. README hiện liệt kê GPU NVIDIA SM100 và NPU Huawei Ascend 950 cùng Linux, GCC 13 trở lên, Python 3.12 và CUDA 13 hoặc CANN 9.2. Đây là danh sách điều kiện cần kiểm tra trước khi thử nghiệm, không phải cam kết rằng mọi máy có GPU NVIDIA đều chạy được.
DeepInfer và vLLM giải quyết các bài toán gần nhau nhưng không có cùng phạm vi. DeepInfer đi sát một dòng mô hình và các tối ưu của DeepSeek, còn vLLM cung cấp recipe cho nhiều mô hình và phần cứng hơn. Câu hỏi quan trọng khi chọn công cụ là nhóm đang kiểm tra đường chạy ngoại tuyến hay chuẩn bị vận hành một API có người dùng thật.
Quy mô dịch vụ của DeepSeek không phải kết quả mặc định của mã nguồn mở
Không thể lấy số liệu của cụm sản xuất DeepSeek làm dự báo cho một nhóm mới triển khai. Tài liệu hỏi đáp của DeepSeek ghi nhận một cụm xử lý 155 nghìn tỷ token mỗi ngày và doanh thu 38 USD cho mỗi GPU-giờ trong thời gian thấp điểm. Đây là mô tả do nhà phát triển đưa ra về dịch vụ của họ, không phải kết quả kiểm định độc lập.
Tài liệu cũng mô tả prefill chạy trên máy chủ 8 GPU, còn decode dùng các cụm 64 đến 128 GPU. Việc tách hai giai đoạn cho phép phân bổ tính toán, liên lạc và lịch chạy theo tải. Một ví dụ khác là giữ KV cache hơn 72 giờ để dùng lại một phần tính toán prefill khi ngữ cảnh lặp lại. Các con số này chỉ cho thấy quy mô vận hành được DeepSeek công bố.
DeepInfer hỗ trợ mô hình và phần cứng nào?
README của DeepInfer liệt kê DeepSeek-V4.1-Flash, NVIDIA SM100 và Huawei Ascend 950. Phần điều kiện xây dựng còn nêu Linux, GCC 13 trở lên, Python 3.12, CUDA 13 cho nền tảng NVIDIA và CANN 9.2 cho nền tảng Ascend. Người đang dùng H100, H200, RTX, GPU AMD hoặc máy tính cá nhân không nên suy ra khả năng tương thích chỉ từ tên NVIDIA trong tài liệu.
Phạm vi mô hình cũng hẹp hơn một nền tảng serving đa mô hình. Nếu mục tiêu là Qwen, Llama hoặc một phiên bản DeepSeek khác, nhóm phải đọc lại danh sách hỗ trợ của phiên bản mã nguồn đang dùng. Tên mô hình, trọng số, tokenizer và phiên bản chương trình cần được ghi trong cùng một biên bản thử nghiệm.
DeepSeek mô tả các chức năng như suy luận phân tán, speculative decoding và đầu ra có cấu trúc. Suy luận phân tán chia phép tính trên nhiều thiết bị. Speculative decoding tạo trước token ứng viên rồi kiểm tra lại, nên lợi ích phụ thuộc mô hình, độ dài đầu vào và tải yêu cầu. Chức năng xuất hiện trong tài liệu không thay thế cho phép đo trên hệ thống thực tế.
Từ mã nguồn đến lần chạy ngoại tuyến đầu tiên
Luồng thử nghiệm cơ bản là chuẩn bị Linux và môi trường Python 3.12 sạch, chọn accelerator, xây dựng chương trình rồi chạy ví dụ ngoại tuyến. README hướng dẫn chọn DEEPINFER_ACCELERATOR=nvidia hoặc DEEPINFER_ACCELERATOR=ascend trước khi chạy ./build.sh. Khi đổi nền tảng, driver, firmware, công cụ biên dịch và loại chip phải được kiểm tra cùng nhau.
Lần chạy python examples/offline_inference.py đầu tiên sẽ lấy checkpoint mặc định deepseek-ai/DeepSeek-V4.1-Flash-1017 vào bộ nhớ đệm Hugging Face. Môi trường không có kết nối mạng cần tải mô hình trước và đặt DEEPINFER_HF_MODEL_DIR tới thư mục cục bộ. Một lần chạy thành công chỉ xác nhận đường suy luận, chưa xác nhận API có thể phục vụ nhiều người.
Apache 2.0 áp dụng cho mã nguồn DeepInfer theo tài liệu dự án. Trọng số, tokenizer, image container và thư viện phụ thuộc có thể có điều khoản riêng. Trước khi đưa vào sản phẩm, nhóm nên lưu tên nguồn, phiên bản, giấy phép và giới hạn sử dụng của từng thành phần thay vì suy rộng giấy phép của chương trình chính.
Benchmark phải giống tải thật
Tokens mỗi giây chỉ có ý nghĩa khi điều kiện đo tương đồng. README dùng 4 GPU SM100 cho prefill và 64 GPU cho decode trong một scale-up domain. Con số đó không đại diện cho máy một GPU, máy biên hoặc một cụm có mạng khác.
Prefill đọc toàn bộ đầu vào để tạo ngữ cảnh và nhạy với độ dài prompt cùng kích thước batch. Decode tạo từng token và thường được đo bằng tốc độ sinh. DeepSeek mô tả Vision Encoder, prefill và decode là các phần được tách tài nguyên trong kiến trúc trực tuyến quy mô lớn. Vì vậy, một bài đo tổng hợp không nói hết thời gian chờ của từng giai đoạn.
Tài liệu có đường kiểm thử một yêu cầu với --decode_num_requests 1, đồng thời có hướng dẫn tăng batch prefill và điều chỉnh EP hoặc DP. EP phân bố các expert của mô hình MoE lên nhiều thiết bị. DP dùng các bản sao để xử lý các yêu cầu khác nhau. Kết quả một yêu cầu không dự báo throughput khi nhiều người truy cập; throughput đầy tải cũng không cho biết từng yêu cầu có phải chờ quá lâu hay không.
Recipe của vLLM cho DeepSeek-V4.1-Flash liệt kê cấu hình và trạng thái kiểm tra trên nhiều nền tảng, gồm H100, H200, B200, GB200 và AMD MI300X. Recipe là điểm bắt đầu để đối chiếu tham số, không phải bằng chứng mọi cấu hình có hiệu suất ngang nhau.
Dịch vụ trực tuyến còn thiếu những gì?
DeepInfer hiện nhấn mạnh suy luận ngoại tuyến. Một dịch vụ API cần thêm cổng nhận yêu cầu, xác thực, giới hạn lưu lượng, hàng đợi, phân phối tải, theo dõi lỗi, ghi log, cảnh báo và cơ chế mở rộng. Các thành phần này quyết định người dùng nhận được phản hồi ra sao khi nhiều yêu cầu đến cùng lúc.
KV cache lưu các tensor key và value của token đã xử lý để lần sinh sau không phải lặp lại toàn bộ tính toán. Dung lượng, thời gian lưu, chính sách loại bỏ và vị trí lưu cache đều ảnh hưởng đến bộ nhớ và độ trễ. Cache giữ được lâu không tự bảo đảm tiết kiệm chi phí, vì dữ liệu lặp lại và cách phân phối yêu cầu còn phải khớp với tải thật.
DeepSeek nói quản lý KV cache và cân bằng tải gắn chặt với hạ tầng nội bộ nên chưa được mở hoàn toàn. Do đó, mã nguồn inference công khai không đồng nghĩa với control plane, kho cache, API gateway và xử lý sự cố đã sẵn sàng. Đây là phần cần ước tính nhân lực trước khi tính chi phí GPU.
Tại Việt Nam thì sao
Với nhóm triển khai tại Việt Nam, con số 38 USD mỗi GPU-giờ không nên được dùng làm bảng giá dự toán. Đó là doanh thu thấp điểm trong một cụm do DeepSeek mô tả, còn chi phí tại Việt Nam phải tách thành giá thuê hoặc mua accelerator, máy chủ, mạng nội bộ, điện, làm mát, lưu trữ, nhân sự và hỗ trợ kỹ thuật. Bài toán đầu tiên là lập bảng yêu cầu gồm SM100 hoặc Ascend 950, dung lượng bộ nhớ, số GPU, tốc độ liên kết giữa máy, thời gian chạy và mức tải dự kiến. Sau đó, doanh nghiệp lấy báo giá có thời hạn từ nhà cung cấp tại Việt Nam và yêu cầu ghi rõ model, tình trạng hàng, thời gian giao, bảo hành, driver, firmware và phí hỗ trợ.
Hiện không có thông tin trong ba tài liệu chính thức của bài viết xác nhận một nhà phân phối tại Việt Nam, một mức giá bằng đồng Việt Nam hoặc một dịch vụ đám mây trong nước đã hỗ trợ DeepInfer. Vì vậy, cách kiểm tra an toàn là đối chiếu README và phần issue hoặc release của kho DeepInfer, hỏi nhà cung cấp bằng đúng tên chip và phiên bản phần mềm, rồi yêu cầu chạy một PoC có log. Không nên nhận báo giá cho “GPU NVIDIA” chung chung và kết luận rằng máy đó đáp ứng SM100. Với Ascend 950, cần hỏi thêm CANN, firmware, bộ công cụ biên dịch và khả năng nhận hỗ trợ tại địa điểm đặt máy.
Nếu dữ liệu của khách hàng được xử lý tại Việt Nam, đội kỹ thuật cần lập sơ đồ dữ liệu trước khi mở API. Sơ đồ nên chỉ ra prompt đi vào đâu, log chứa nội dung gì, KV cache tồn tại bao lâu, ai được xem, bản sao lưu nằm ở đâu và khi nào dữ liệu bị xóa. Khi dịch vụ xử lý dữ liệu cá nhân, nhóm pháp chế cần đối chiếu văn bản hiện hành và hướng dẫn chính thức của cơ quan có thẩm quyền tại Việt Nam; bài viết này không tự suy ra một điều khoản hay thời hạn lưu trữ cụ thể. Cách ghi nhận này giúp tách yêu cầu pháp lý khỏi lựa chọn engine và tránh đưa dữ liệu thật vào PoC chưa có kiểm soát.
Đối với doanh nghiệp Việt Nam thuê hạ tầng ở nước ngoài, bảng kiểm tra cần thêm vị trí máy chủ, quyền truy cập của bên vận hành, đường truyền quốc tế, hợp đồng xử lý dữ liệu và quy trình kết thúc dịch vụ. Đối với máy đặt trong nước, cần ghi rõ đơn vị chịu trách nhiệm thay linh kiện, cập nhật driver, giám sát nhiệt độ và xử lý sự cố mạng. Các câu hỏi này không chứng minh DeepInfer phù hợp hay không phù hợp; chúng giúp xác định phần chi phí và trách nhiệm mà số liệu benchmark của DeepSeek không bao quát.
PoC tại Việt Nam nên dùng một tập prompt đã được loại bỏ dữ liệu nhận diện cá nhân, có độ dài và ngôn ngữ gần tải dự kiến. Nhóm ghi riêng thời gian prefill, tốc độ decode, độ trễ p95, tỷ lệ lỗi, mức dùng bộ nhớ và chi phí trên một yêu cầu. Nếu phục vụ người dùng tiếng Việt, tập kiểm thử cũng cần kiểm tra lỗi mã hóa, định dạng đầu ra và cách xử lý nội dung tiếng Việt, thay vì chỉ chạy câu lệnh mẫu bằng tiếng Anh. Chỉ sau khi các phép đo này ổn định mới so sánh DeepInfer với vLLM trên cùng phần cứng.
DeepInfer hay vLLM cho vòng PoC?
DeepInfer đáng thử khi mục tiêu là DeepSeek-V4.1-Flash và nhóm có đúng NVIDIA SM100 hoặc Ascend 950. vLLM đáng được đưa vào đối chiếu khi hệ thống cần nhiều mô hình, nhiều nền tảng hoặc muốn bắt đầu từ recipe serving đã có. Recipe vLLM cho phép nhóm đọc cấu hình khởi chạy của mô hình này trong một dự án serving tổng quát hơn.
| Tiêu chí | DeepInfer | vLLM |
|---|---|---|
| Định hướng | Tối ưu cho mô hình DeepSeek | Serving nhiều mô hình và recipe theo mô hình |
| Mô hình trong tài liệu | DeepSeek-V4.1-Flash | Có recipe DeepSeek-V4.1-Flash |
| Phần cứng được nêu | NVIDIA SM100 và Ascend 950 | Nhiều trạng thái kiểm tra NVIDIA và AMD trong recipe |
| Phần cần kiểm tra thêm | KV cache, tách prefill/decode và cân bằng tải | Phiên bản mô hình, tham số phần cứng và tích hợp API |
Bốn bước trước khi quyết định triển khai
Đối chiếu nền tảng: xác nhận đúng model accelerator, Linux, GCC, Python, CUDA hoặc CANN và driver. Đối chiếu mô hình: ghép đúng trọng số, tokenizer và phiên bản chương trình, sau đó kiểm tra đầu ra trên ít nhiệm vụ đại diện.
Đối chiếu tải: dùng độ dài prompt, độ dài đầu ra, số yêu cầu đồng thời và giới hạn độ trễ của chính hệ thống. Ghi lại prefill, decode, bộ nhớ, lỗi và p95 thay vì chỉ ghi throughput. Đối chiếu dịch vụ: chỉ định người phụ trách hàng đợi, API, xác thực, KV cache, cân bằng tải, giám sát, sao lưu và phục hồi.
PoC ngoại tuyến có thể kết thúc khi mô hình tải ổn định, đầu ra đúng và chi phí mỗi yêu cầu được ghi nhận. PoC API cần thêm kiểm thử nhiều yêu cầu, cache hit, lỗi node, phục hồi dịch vụ, quyền truy cập và xóa log. Nếu một điều kiện không đạt, nhóm nên ghi rõ nguyên nhân nằm ở chip, mô hình hay lớp dịch vụ trước khi mở rộng cụm.
Kết luận
DeepInfer mở ra một đường thử nghiệm chuyên biệt cho DeepSeek-V4.1-Flash, nhưng mô tả chính xác nhất hiện nay là engine suy luận ngoại tuyến cần phần cứng tương thích. Mã nguồn mở không tự cung cấp quy mô dịch vụ, giá GPU, tính sẵn có tại Việt Nam hoặc các thành phần vận hành trực tuyến. Lựa chọn giữa DeepInfer và vLLM nên dựa trên mô hình, accelerator, tải thật và năng lực duy trì API sau PoC.
Câu hỏi thường gặp
DeepInfer có phải framework cho AI biên không?
Tài liệu công khai tập trung vào accelerator cấp trung tâm dữ liệu và suy luận ngoại tuyến. README không liệt kê điện thoại, máy tính xách tay hay thiết bị biên thông dụng, nên chưa đủ cơ sở gọi đây là framework cho thiết bị đầu cuối.
DeepInfer có chạy trực tiếp mô hình mở khác không?
Danh sách trong README hiện nêu DeepSeek-V4.1-Flash. Khả năng tương thích của Qwen, Llama hoặc phiên bản khác phải được kiểm tra trong mã nguồn và tài liệu của từng bản phát hành.
Dùng DeepInfer có đạt chất lượng API của DeepSeek không?
Không thể suy ra điều đó từ việc framework được mở mã nguồn. KV cache, cân bằng tải, phần cứng, mạng, giám sát và quy trình phục hồi của bên triển khai đều tác động đến độ trễ, tính sẵn sàng và chi phí.
