AI tại biên xử lý dữ liệu trên thiết bị, vẫn cần phối hợp với đám mây

AI tại biên (edge AI) đặt bước suy luận của mô hình gần nơi dữ liệu phát sinh, chẳng hạn trên điện thoại, camera, máy tính trên xe hoặc máy công nghiệp. Đám mây vẫn đảm nhiệm huấn luyện, lưu trữ lớn và quản lý tập trung khi hệ thống cần. Cơ quan quản lý Quỹ hưu trí và trợ cấp công chức Đài Loan định nghĩa AI tại biên là thuật toán chạy trên thiết bị gần nguồn dữ liệu. Cơ quan này quản lý quỹ hưu trí công vụ tại Đài Loan, không phụ trách chính sách công nghệ. Intel cũng mô tả thiết bị và cảm biến tại chỗ là nơi thu thập, phân tích dữ liệu để tạo phản hồi gần thời gian thực.

Khác biệt chính nằm ở đường đi của dữ liệu và vị trí thực hiện suy luận. Xử lý gần nguồn giúp giảm độ trễ mạng và lượng dữ liệu thô phải gửi đi. Đổi lại, thiết bị chịu giới hạn về bộ nhớ, điện, nhiệt độ và khả năng cập nhật. Một hệ thống vận hành lâu dài thường chia công việc giữa thiết bị tại chỗ và dịch vụ đám mây.

AI tại biên khác AI đám mây ở đường đi của dữ liệu

“Biên” là vị trí gần nguồn dữ liệu, không giới hạn ở một loại thiết bị. Điểm xử lý có thể là điện thoại, camera, máy tính trên xe, máy công nghiệp hoặc máy chủ đặt tại cơ sở. AI đám mây gửi dữ liệu tới trung tâm dữ liệu ở xa rồi nhận kết quả qua mạng. Hai kiến trúc được ghép với nhau khi tác vụ tại chỗ cần tốc độ, còn phần huấn luyện và quản lý cần tài nguyên tập trung.

Tiêu chí	AI tại biên	AI đám mây
Nơi suy luận	Trên hoặc gần camera, cảm biến và thiết bị đầu cuối	Tại trung tâm dữ liệu tập trung
Đường phản hồi	Kết quả được tạo tại chỗ trước	Dữ liệu và kết quả đi qua mạng
Dữ liệu truyền đi	Có thể chỉ gửi kết quả, bản tóm tắt hoặc cảnh báo	Thiết kế dịch vụ thường gửi thêm dữ liệu về máy chủ từ xa
Giới hạn tài nguyên	Phụ thuộc chip, bộ nhớ, điện, nhiệt và kích thước thiết bị	Thuận lợi hơn cho mô hình lớn và lưu trữ tập trung
Vai trò thường gặp	Phát hiện, phân loại, cảnh báo và điều khiển tức thời	Huấn luyện, phân tích dài hạn, quản lý và cập nhật

Bảng trên mô tả cách phân công phổ biến, không đặt ra ranh giới cố định. Intel nêu nhà máy, bệnh viện và cửa hàng là các địa điểm triển khai, đồng thời mô tả kiến trúc lai phân bổ tải giữa biên và đám mây. Một camera vẫn kết nối mạng để gửi cảnh báo hoặc nhận mô hình mới. Tương tự, máy chủ đặt trong nhà máy vẫn được xem là điểm biên nếu nó xử lý dữ liệu gần dây chuyền sản xuất.

Bốn chặng từ cảm biến tới hành động

Một hệ thống AI tại biên thường đi qua bốn chặng liên tiếp. Cách chia này giúp xác định dữ liệu nằm ở đâu và thành phần nào ra quyết định. Nó cũng cho thấy một nhãn “AI trên thiết bị” chưa đủ để mô tả toàn bộ luồng xử lý.

1. Thu nhận dữ liệu: Camera, micro, cảm biến nhiệt độ, radar hoặc thiết bị đo tạo ra hình ảnh, âm thanh và số liệu.
2. Tiền xử lý và suy luận: Thiết bị chuẩn hóa tín hiệu rồi chuyển dữ liệu vào bộ xử lý trung tâm (central processing unit, CPU), bộ xử lý đồ họa (graphics processing unit, GPU) hoặc bộ xử lý thần kinh (neural processing unit, NPU).
3. Hành động tại chỗ: Kết quả kích hoạt cảnh báo, phân loại hình ảnh, điều chỉnh máy hoặc hiển thị hướng dẫn cho người vận hành.
4. Đồng bộ và quản lý: Hệ thống gửi kết quả cần thiết, số liệu vận hành hoặc nhật ký lỗi lên máy chủ trung tâm, đồng thời nhận cấu hình và bản mô hình mới.

Độ trễ phải được đo từ lúc cảm biến nhận tín hiệu đến lúc hệ thống hoàn tất hành động. Thời gian chạy mô hình chỉ là một phần của phép đo đó. Sai khác về định dạng dữ liệu, phiên bản mô hình hoặc quyền truy cập giữa thiết bị và đám mây dễ làm lỗi xuất hiện sau khi mở rộng. Kế hoạch vận hành vì thế cần bao gồm giám sát phiên bản, quay về bản cũ và xử lý thiết bị mất kết nối.

Đài Loan có nền tảng chip và công cụ, chưa có thước đo chung

Tại Đài Loan, thông tin công khai về AI tại biên tập trung nhiều vào chip và hệ thống trên chip (system-on-chip, SoC). MediaTek cho biết bộ công cụ NeuroPilot phân phối tác vụ giữa NPU, GPU và CPU trong SoC. Nhà phát triển cũng được lựa chọn đơn vị xử lý phù hợp với ứng dụng. MediaTek liệt kê điện thoại, máy tính xách tay, sản phẩm gia dụng, thiết bị IoT doanh nghiệp, xe và thiết bị đeo trong phạm vi hỗ trợ.

MediaTek công bố mỗi năm xuất xưởng hơn 2 tỷ chip cho thiết bị kết nối và nhiều chip trong số đó tích hợp bộ xử lý AI. Cùng trang này, hãng nêu MDLA hỗ trợ mạng nơ-ron tích chập, mạng nơ-ron hồi tiếp, Transformer cùng các định dạng INT4, INT8, INT16, FP16 và BF16. MediaTek còn báo cáo hiệu quả năng lượng của DLA cao gấp 27 lần CPU và 15 lần GPU trong phép thử gồm năm mạng thần kinh. Đây là số liệu do doanh nghiệp tự đo, không phải kết quả đại diện cho mọi chip, mô hình hoặc điều kiện sử dụng.

Các tài liệu xác nhận Đài Loan có nhà cung cấp chip, bộ tăng tốc và công cụ phát triển cho nhiều nhóm thiết bị. Chúng không cho biết bao nhiêu nhà máy, cửa hàng hoặc cơ sở y tế đã vận hành AI tại biên ở quy mô lớn. Đánh giá một sản phẩm vẫn cần đúng mã thiết bị, danh sách mô hình hỗ trợ, phiên bản phần mềm và phép thử tại nơi lắp đặt.

Tại Việt Nam thì sao

Khung pháp lý tại Việt Nam quản lý hệ thống AI theo rủi ro, không dựa riêng vào vị trí đặt mô hình. Luật Trí tuệ nhân tạo số 134/2025/QH15 có hiệu lực từ ngày 1/3/2026. Cổng thông tin chính sách của Chính phủ cho biết luật chia hệ thống thành mức rủi ro cao, trung bình và thấp. Nguồn này cũng nêu nhà cung cấp phải tự phân loại, còn hệ thống rủi ro cao phải đánh giá sự phù hợp trước khi đưa vào sử dụng. Nhãn “xử lý tại thiết bị” vì thế không tự xác định nghĩa vụ của camera, máy kiểm tra chất lượng hoặc công cụ hỗ trợ y tế.

Dữ liệu do thiết bị thu nhận tạo ra một lớp yêu cầu riêng. Luật Bảo vệ dữ liệu cá nhân số 91/2025/QH15 có hiệu lực từ ngày 1/1/2026. Đối với dữ liệu sinh trắc học, luật yêu cầu bảo vệ vật lý thiết bị lưu trữ và truyền tải, hạn chế quyền truy cập và theo dõi hành vi xâm phạm. Camera nhận dạng khuôn mặt vẫn xử lý dữ liệu cá nhân khi suy luận ngay trên thiết bị. Hồ sơ triển khai cần chỉ rõ camera lưu gì, gửi gì, giữ trong bao lâu và ai được truy cập.

Viettel High Tech giới thiệu Q83910-B là camera 8 MP xử lý video tại biên để nhận dạng khuôn mặt, biển số và hành vi. Trang sản phẩm ghi thiết bị dùng SoC, RAM 4 GB, bộ nhớ 16 GB và hỗ trợ cài ứng dụng phân tích video. Thông tin này xác nhận một nhà cung cấp trong nước đã công bố sản phẩm với chức năng AI tại biên, nhưng chưa chứng minh mức triển khai diện rộng. Những tác vụ nhận dạng cũng đòi hỏi kiểm tra sai số của mô hình cùng quyền truy cập dữ liệu.

Ngày 28/8/2026, VNPT cho biết Trung tâm Xuất sắc VNPT - Qualcomm (VQEC) đang nghiên cứu Wi-Fi thế hệ mới, AI Camera, AI Box, máy tính xách tay và máy tính mini xử lý AI trên thiết bị. Thông báo dùng các cụm từ nghiên cứu, thử nghiệm và hoàn thiện sản phẩm, nên chưa xác nhận toàn bộ danh mục đã được bán rộng rãi. Trang Q83910-B nêu cấu hình nhưng không niêm yết giá tại thời điểm kiểm tra. Báo giá dự án cần tách thiết bị, giấy phép phần mềm, lắp đặt, mạng, cập nhật và nhân lực vận hành. Tính đến thời điểm bài viết được thực hiện, chúng tôi chưa tìm thấy văn bản chính thức của cơ quan chức năng Việt Nam đưa ra số liệu so sánh chi phí AI tại biên và AI đám mây.

Năm nhóm dữ liệu cần đo trước khi triển khai

Đối với điện thoại, camera hoặc đồ gia dụng ghi “AI trên thiết bị”, thông tin cần kiểm tra gồm tác vụ được hỗ trợ, chế độ ngoại tuyến và dữ liệu còn gửi lên máy chủ. Chính sách cập nhật cũng cho biết chức năng tồn tại trong bao lâu. Một NPU không bảo đảm ứng dụng luôn xử lý dữ liệu tại chỗ. Luồng dữ liệu thực tế phụ thuộc vào phần mềm, tài khoản, cài đặt và dịch vụ mà thiết bị kết nối.

Nhóm kiểm tra	Dữ liệu cần ghi trước khi nghiệm thu
Tác vụ và độ trễ	Lưu lượng đầu vào, độ trễ đầu cuối, hành vi khi mất mạng và ngưỡng phát cảnh báo
Phần cứng và môi trường	CPU, GPU, NPU, bộ nhớ, lưu trữ, điện, nhiệt độ, độ rung và tuổi thọ thiết bị
Mô hình và chất lượng	Phiên bản mô hình, định dạng số, dữ liệu đại diện, trường hợp lỗi và quy trình quay về bản cũ
Dữ liệu và quyền	Nơi lưu dữ liệu thô, kết quả, nhật ký; thời hạn giữ; phạm vi truyền và danh sách người truy cập
Vận hành và an ninh	Cập nhật từ xa, danh mục thiết bị, nhật ký sự cố, thiết bị thay thế và quy trình ngừng sử dụng

Intel liệt kê phần cứng không đồng nhất, thiết bị cũ, quản lý ứng dụng phân tán, an ninh, năng lượng và tuân thủ là các thách thức của môi trường biên. Một thiết bị chạy tốt trong thử nghiệm chưa chứng minh cả đội thiết bị sẽ ổn định. Doanh nghiệp cần thử cùng dữ liệu, phiên bản phần mềm, nhiệt độ và điều kiện mạng của nơi triển khai. Kết quả phải bao gồm độ trễ, lỗi, điện năng, tỷ lệ mất kết nối và thời gian khôi phục.

Phân tích ảnh y tế, an toàn nhà máy và điều khiển phương tiện có chi phí sai sót cao hơn tác vụ gợi ý nội dung. Các trường hợp đó cần ngưỡng dừng, người giám sát, quy trình chuyển cấp cảnh báo và tiêu chí quay về phiên bản trước. Đưa suy luận đến gần hiện trường không thay thế kiểm định chất lượng, quản trị dữ liệu hoặc phân công trách nhiệm.

Câu hỏi thường gặp

AI tại biên có phải luôn hoạt động ngoại tuyến?
Không. Thiết bị xử lý suy luận tại chỗ rồi vẫn gửi kết quả, số liệu vận hành hoặc nhật ký lỗi lên máy chủ. Cập nhật mô hình và quản lý tập trung cũng thường cần kết nối mạng.

AI tại biên và NPU trên điện thoại có phải cùng một khái niệm?
Không. AI tại biên mô tả vị trí xử lý, còn NPU là phần cứng tăng tốc mạng thần kinh bên trong thiết bị. Mô hình, trình điều khiển và công cụ phần mềm phải tương thích thì NPU mới thực hiện được tác vụ.

Khi nào doanh nghiệp chọn AI tại biên thay cho đám mây?
Quyết định dựa trên độ trễ, chất lượng kết nối, mức nhạy cảm của dữ liệu, kích thước mô hình và khả năng quản lý thiết bị. Tác vụ phản hồi tức thời thường phù hợp với biên, còn huấn luyện và phân tích tập trung phù hợp với đám mây. Kiến trúc lai được dùng khi hệ thống cần cả hai nhóm năng lực.