Máy chủ trí tuệ nhân tạo (AI) dồn tải điện và nhiệt lớn vào từng tủ trong phòng máy. Thiết kế phải bắt đầu từ tải cực đại của cấu hình dự kiến, không lấy mức trung bình của máy chủ truyền thống nhân với số tủ. Danh sách máy chủ, thiết bị chuyển mạch và lưu trữ cần được ghép với đường cấp điện, làm mát và mạng. Hồ sơ cũng phải nêu kết cấu sàn cùng vùng sự cố (failure domain). Mức tải trung bình đo trong vận hành phục vụ dự toán chi phí, nhưng không thay thế giới hạn dùng để thiết kế công suất.

Thông báo của Cơ quan Quản lý Năng lượng thuộc Bộ Kinh tế Đài Loan nêu ngưỡng 5 MW. Ngưỡng này áp dụng cho trung tâm dữ liệu siêu quy mô và cho thuê chỗ đặt máy khi xây mới hoặc mở rộng. Các dự án này phải dùng kỹ thuật khả thi tốt nhất. Hồ sơ cũng phải chứng minh khả năng cấp điện từ giai đoạn chọn địa điểm, đồng thời xem xét hiệu quả năng lượng. Cơ quan này phụ trách chính sách và quản lý năng lượng tại Đài Loan.

Lập bảng công suất theo cấu hình của từng tủ

Mỗi dòng trong bảng cần ghi loại thiết bị, số lượng, công suất định mức, tải vận hành dự kiến và chuẩn nguồn. Khối lượng, hướng gió và số cổng mạng phải nằm trong cùng bảng. Nhóm thiết kế sau đó cộng riêng tải công nghệ thông tin (IT) tối đa dự kiến và tải vận hành thông thường. Dung lượng dành cho mở rộng phải đứng thành một cột, thay vì ẩn trong một tỷ lệ dự phòng chung. Tên hệ thống trên báo giá chưa đủ vì số bộ nguồn, cách chia tải và chế độ dự phòng cũng quyết định công suất từng tuyến.

Cụm huấn luyện AI và hệ thống suy luận mô hình lớn thường trải trên nhiều nút máy chủ. Kiến trúc tham chiếu của NVIDIA yêu cầu hồ sơ nêu phần cứng, mạng, lưu trữ và số bộ xử lý đồ họa (graphics processing unit, GPU). Tài liệu cũng đưa vị trí tủ, liên kết GPU, cách nối card mạng và vùng sự cố vào quyết định cấu trúc. Đường truyền qua nhiều tầng chuyển mạch dễ trở thành nút thắt dù số GPU không đổi. Bảng công suất vì thế cần đi kèm sơ đồ cổng, tốc độ liên kết và vị trí thiết bị.

Truy nguyên công suất tới từng ổ cắm

Đường cấp điện phải được vẽ từ lưới điện tại địa điểm hoặc nguồn tự dùng đến từng ổ cắm máy chủ. Chuỗi thiết bị thường đi qua máy biến áp, bộ lưu điện (uninterruptible power supply, UPS) và tủ phân phối. Từ đó, điện đi qua thanh dẫn và bộ phân phối điện tại tủ (power distribution unit, PDU). Ở mỗi cấp, hồ sơ ghi công suất định mức, công suất khả dụng, tải hiện tại và chế độ dự phòng. Các con số phải khớp giữa bảng tải, sơ đồ một sợi và cấu hình thiết bị đã đặt mua.

Hai tuyến A và B phải được lần ngược lên nguồn. Nếu cả hai cùng qua một UPS, tủ phân phối hoặc máy biến áp, hệ thống vẫn có một điểm lỗi chung. Thiết kế cũng phải dành công suất cho thời gian bảo trì, khi tải của tuyến ngắt được chuyển sang tuyến còn lại. Phần dự phòng này cần hiện rõ trên sơ đồ và bảng tải, không chỉ nằm trong mô tả bán hàng.

Thử tải dùng tải thật hoặc tải tương đương với cấu hình dự kiến. Nhóm nghiệm thu ngắt lần lượt một tuyến, kiểm tra chuyển sang UPS và khởi động máy phát điện. Máy chủ, bơm, thiết bị điều khiển và cảnh báo làm mát phải tiếp tục hoạt động theo thiết kế. Biên bản cần ghi điều kiện ban đầu, thời gian chuyển nguồn, lỗi phát sinh và các bước khôi phục.

Đánh giá làm mát, nước và tải trọng trong cùng hồ sơ

Tủ máy mật độ cao có thể cần làm mát bằng chất lỏng (liquid cooling) hoặc bộ trao đổi nhiệt ở cửa sau (rear-door heat exchanger). Trước khi chọn hệ thống, nhóm thiết kế phải đối chiếu nhiệt độ nước cấp và hồi, lưu lượng cùng chất lượng nước. Hồ sơ cũng phải nêu cảm biến rò rỉ, chỗ bảo trì và phương án dự phòng. Chất lỏng không thu hết nhiệt từ bộ nguồn, mạng và các bộ phận khác. Hệ thống không khí vẫn phải được tính cho phần nhiệt còn lại.

Khối lượng một tủ bao gồm máy chủ, thiết bị điện, đường ống làm mát và cáp. Đơn vị kết cấu phải xác nhận sức chịu tải tại vị trí cuối cùng và toàn bộ tuyến vận chuyển vào phòng máy. Ở nơi hạn chế nguồn nước, hồ sơ cần đặt lượng nước tiêu thụ cạnh phương án thải nhiệt. Các yêu cầu về kết cấu, phòng cháy, cấp nước và xả nước phải được kiểm tra theo nơi đặt dự án tại Việt Nam hoặc Đài Loan.

Không tách mạng và vùng sự cố khỏi sơ đồ tủ

Sơ đồ vật lý cần cho thấy máy chủ nào dùng chung tủ, hàng tủ, thiết bị chuyển mạch, PDU và vòng làm mát. Phân tán thiết bị qua nhiều vùng giới hạn phạm vi của một lỗi, nhưng số tầng mạng tăng sẽ làm đường truyền dài hơn. Gom các nút vào cùng miền mạng rút ngắn liên kết, song tập trung ảnh hưởng khi một thiết bị chung ngừng hoạt động. Quyết định cuối phải dựa trên mục tiêu hiệu năng và mức lỗi mà dịch vụ được thiết kế để chịu.

Kế hoạch thử nghiệm phải mô phỏng lỗi của một tủ, một hàng và một thiết bị chuyển mạch. Mỗi kịch bản cần nêu dịch vụ nào tiếp tục hoạt động, tải chuyển đi đâu và điều kiện khôi phục. Nhãn “nguồn kép” hoặc “mạng dự phòng” chưa đủ nếu không chỉ ra thiết bị chung ở thượng nguồn. Kết quả thử phải được lưu cùng phiên bản cấu hình đã nghiệm thu.

Thứ tự nghiệm thu trước khi đưa hệ thống vào hoạt động

Nghiệm thu bắt đầu với danh sách thiết bị và vị trí tủ cuối cùng. Mỗi phép thử phải có tải dự kiến, tiêu chí đạt, người ghi nhận và phương án quay lại trạng thái an toàn. Phiên bản phần sụn, sơ đồ kết nối và ngưỡng cảnh báo phải được cố định trong biên bản. Thay đổi sau đó cần có hồ sơ để đội vận hành biết cấu hình nào đang được sử dụng.

  1. Đối chiếu mã thiết bị, số lượng, phần sụn, bộ nguồn và vị trí lắp đặt.
  2. Thử riêng tuyến A, tuyến B và từng thiết bị chung ở thượng nguồn.
  3. Chạy tải dự kiến để đo nhiệt độ, lưu lượng và điểm nóng trong phòng máy.
  4. Kiểm tra cảm biến rò rỉ, bơm, van, cảnh báo và phần làm mát bằng không khí.
  5. Đo mạng tốc độ cao, lưu trữ và hiệu năng khi tác vụ chạy qua nhiều nút.
  6. Mô phỏng lỗi của một tủ, một hàng và một thiết bị chuyển mạch.
  7. Lưu sơ đồ một sợi, sơ đồ đường ống, nhật ký thay đổi và quy trình khôi phục.

Thiết bị tính toán vẫn phải được chọn theo khối lượng công việc, độ trễ, thông lượng, bộ nhớ và phần mềm. Phòng máy dư công suất không sửa được một cấu hình GPU không phù hợp với mô hình. Ngược lại, bộ tăng tốc đạt kết quả tốt trong phòng thử vẫn không vận hành ổn định nếu điện, làm mát và mạng không đáp ứng tải. Hai nhóm phải dùng chung một cấu hình thử và một tiêu chí nghiệm thu.

Câu hỏi thường gặp

Nên dùng công suất định mức hay mức trung bình cho mỗi tủ?
Giới hạn cấp điện và làm mát phải dựa vào tải cực đại mà cấu hình dự kiến đạt tới. Mức trung bình đo được dùng để ước tính điện năng và chi phí vận hành. Hai con số phải đứng ở hai cột riêng.

Hai bộ nguồn có tạo thành hệ thống dự phòng hoàn chỉnh không?
Hai bộ nguồn chỉ là điểm bắt đầu của tuyến A và B. Cần lần từng tuyến qua PDU, tủ phân phối, UPS và máy biến áp. Một thiết bị chung ở thượng nguồn vẫn tạo ra điểm lỗi duy nhất.

Đã dùng chất lỏng thì còn cần làm mát bằng không khí không?
Chất lỏng chỉ lấy đi phần nhiệt mà hệ thống được thiết kế để thu. Bộ nguồn, thiết bị mạng và các bộ phận khác vẫn tỏa nhiệt vào không khí. Công suất làm mát còn lại phải được tính theo cấu hình thực tế.

Có nên chờ thiết bị đến rồi mới thử phòng máy không?
Công suất, làm mát, khối lượng và tuyến vận chuyển phải được kiểm tra từ giai đoạn mua sắm và thiết kế. Thử tích hợp vẫn cần diễn ra trước khi đưa hệ thống vào hoạt động. Chờ đến lúc giao hàng mới phát hiện giới hạn sẽ thu hẹp phương án sửa đổi và kéo dài tiến độ.