NVIDIA DGX B300 - Server AI mạnh mẽ với 8 GPU B300 Blackwell Ultra SXM

NVIDIA DGX B300 là hệ thống máy chủ AI chuyên dụng thế hệ mới nhất, được thiết kế để làm "AI Factory node"  cho các hạ tầng siêu máy tính AI (DGX SuperPOD). DGX B300 sử dụng kiến trúc NVIDIA Blackwell Ultra để phục vụ các tác vụ huấn luyện (training) và suy luận (inference) các mô hình ngôn ngữ lớn (LLM) ở quy mô cực đại. 

Những cải tiến quan trọng của NVIDIA DGX B300 so với các thế hệ DGX trước đây

Hệ thống NVIDIA DGX B300 mang đến nhiều cải tiến quan trọng so với các thế hệ DGX trước đây, bao gồm:

Hai tuỳ chọn cấp nguồn

Phiên bản AC/PDU là kiểu phổ biến trong nhiều datacenter, nguồn điện xoay chiều AC từ PDU trong rack sẽ được đưa trực tiếp vào server.

Một phiên bản nữa là phiên bản DC/busbar. Thay vì nguồn AC riêng cho từng máy, rack sẽ có một thanh dẫn điện DC lớn gọi là busbar. Các thiết bị trong rack sẽ lấy điện từ thanh này. Cách cấp nguồn này giúp giảm tổn hao điện và đơn giản hệ thống cấp nguồn.

Nguồn điện được lắp vào từ phía trước của hệ thống để kỹ thuật viên có thể dễ dàng thay thế, còn chân cắm hoặc DC bus bar clip được thiết kế ở phía sau để việc bảo trì thuận lợi hơn và đi dây gọn gàng hơn.

Bố trí card mạng khoa học

Hệ thống mạng ConnectX-8 của NVIDIA được kết nối trực tiếp với GPU bằng chuẩn PCIe Gen6. Các card mạng không được đặt trên motherboard mà được đặt trên khay GPU. Thiết kế này giúp đường đi của giữ liệu giữa GPU và NIC ngắn hơn, tối ưu cho các workload AI.

Chuyển sang sử dụng ổ cứng E1.S thay vì U.2

Việc chuyển sang sử dụng các ổ cứng E1.S thay vì U.2 giúp DGX B300 nâng cao mật độ ổ cứng, từ đó tăng mạnh không gian lưu trữ dữ liệu.

Sử dụng DC-SCM module có chứa BMC

NVIDIA DGX B300 sử dụng modue quản lý hiện đại DC-SCM có tích hợp chip BMC để phục vụ cho quá trình quản lý thiết bị từ xa. Điểm cải tiến là module này có thể tháo rời và thay thế mà không cần thay cả mainboard.

Thiết kế Mainboard và GPU trays tiện lợi

Hệ thống này có thiết kế tray của Mainboard và GPU dạng khay trượt sliding rails. Khi cần thiết, kỹ thuật viên có thể kéo cả cụm phần cứng ra khỏi rack như kéo ngăn kéo, thay thế hoặc bảo trì linh kiện nhanh và không cần tháo toàn bộ thùng máy.

Các đặc điểm nổi bật của NVIDIA DGX B300

Hiệu năng AI mạnh mẽ với 8 GPU B300

NVIDIA DGX B300 được trang bị 8 GPU NVIDIA B300 Blackwell Ultra để mang lại khả năng xử lý AI vượt trội. Với tổng dung lượng bộ nhớ đạt 2.1TB, hệ thống có thể xử lý các mô hình AI có kích thước cực lớn và các workload dữ liệu phức tạp. 

DGX B300 đạt hiệu năng 72 PetaFLOPS cho trainning ở định dạng FP8 và 144 PetaFLOPS cho inference ở định dạng FP4 giúp tăng tốc quá trình huấn luyện và suy luận mô hình AI.

Giao tiếp GPU-to-GPU siêu nhanh với kiến trúc NVLink thế hệ mới

Thiết bị sử dụng hai bộ NVSwitch thế hệ thứ 5 với công nghệ NVIDIA NVLink, cho phép kết nối trực tiếp giữa các GPU trong hệ thống. Kiến trúc này tạo ra một không gian bộ nhớ GPU hợp nhất với băng thông cực cao, giúp các GPU trao đổi dữ liệu nhanh chóng.

Nền tảng kết nối mạng 800Gb/s 

DGX B300 được thiết kế để hoạt động trong các AI Cluster quy mô lớn với hệ thống mạng tốc độ cao. Máy được trang bị 8 cổng OSFP kết nối tới 8 card mạng NVIDIA ConnectX-8 để cung cấp kết nối 800Gb/s.

Ngoài ra, hệ thống còn có 2 DPU NVIDIA Bluefield-3 dual-port, cung cấp thêm 2 kết nối 400Gb/s cho các mạng lưu trữ và quản lý. Tất cả mang đến khả năng truyền dữ liệu cực nhanh giữa các node trong cụm AI.

Cấu hình hiệu năng cao hỗ trợ workload AI phức tạp

DGX B300 được trang bị 2 bộ xử lý Intel Xeon Platinum 6776P kết hợp với bộ nhớ hệ thống 2 TB RAM mặc định và có thể mở rộng tối đa lên tới 4 TB.

Dung lượng bộ nhớ lớn giúp hệ thống xử lý các tập dữ liệu AI khổng lồ, đồng thời đảm bảo khả năng vận hành ổn định cho các workload như huấn luyện mô hình ngôn ngữ lớn, phân tích dữ liệu và các ứng dụng AI doanh nghiệp.

Hệ thống lưu trữ NVMe tốc độ cao

DGX B300 sử dụng 8 ổ NVMe chuẩn E1.S dung lượng 3.84 TB làm cache storage. Các ổ SSD này hỗ trợ self-encrypting drive, giúp bảo vệ dữ liệu trong môi trường datacenter.

Ngoài ra hệ thống còn có 2 ổ M.2 NVMe dung lượng 1.92 TB dùng làm boot storage cho hệ điều hành và phần mềm hệ thống.

Quản lý hệ thống toàn diện cho môi trường datacenter

DGX B300 được tích hợp đầy đủ các công cụ quản lý từ xa dành cho datacenter. Hệ thống có cổng quản lý RJ-45 1 GbE và Baseboard Management Controller (BMC) cho phép quản trị viên theo dõi và điều khiển máy chủ từ xa.

Các tính năng quản lý bao gồm KVM từ xa, quản lý lưu trữ từ xa và các giao thức quản trị tiêu chuẩn như Redfish và IPMI, giúp việc vận hành và bảo trì hệ thống trở nên thuận tiện.

Hệ điều hành DGX OS tối ưu cho AI

DGX B300 sử dụng DGX OS 7 dựa trên Ubuntu 24.04 LTS, được NVIDIA tối ưu cho các workload AI và GPU computing.

Ngoài ra hệ thống cũng hỗ trợ các hệ điều hành phổ biến trong môi trường doanh nghiệp như Ubuntu, Red Hat Enterprise Linux 8 và 9, cũng như Rocky Linux, giúp doanh nghiệp linh hoạt khi triển khai hạ tầng AI. 

NVIDIA DGX B300 được sử dụng để làm gì?

NVIDIA DGX B300 được NVIDIA thiết kế để làm một node tính toán hiệu năng cao trong các cụm DGX SuperPOD. Các cụm này liên kết nhiều server DGX B300 thông qua hệ thống mạng tốc độ cao và kiến trúc kết nối GPU băng thông lớn, tạo thành một hạ tầng tính toán AI quy mô khổng lồ. Nhờ đó, DGX SuperPOD có thể cung cấp năng lực xử lý khổng lồ để huấn luyện các mô hình AI phức tạp, phát triển các mô hình ngôn ngữ lớn và triển khai các ứng dụng AI ở quy mô công nghiệp. Các cụm DGX SuperPOD được phát triển nhằm giúp xây dựng các AI Factory một cách nhanh chóng và đồng bộ hơn 

Bảng thông số kỹ thuật của NVIDIA DGX B300

Đặt mua NVIDIA DGX B300 chính hãng giá tốt tại CNTTShop

NVIDIA DGX B300 là hệ thống AI server hiệu năng cao được thiết kế cho các trung tâm dữ liệu và doanh nghiệp triển khai hạ tầng AI quy mô lớn. Với 8 GPU NVIDIA B300 Blackwell Ultra, kiến trúc NVLink tốc độ cao và mạng 800 Gb/s, hệ thống mang lại sức mạnh tính toán vượt trội cho các workload như huấn luyện mô hình AI, AI tạo sinh, phân tích dữ liệu và HPC.

CNTTShop là đơn vị chuyên phân phối các hệ thống máy chủ và GPU AI chính hãng cho doanh nghiệp. Khi đặt mua NVIDIA DGX B300 tại CNTTShop, khách hàng sẽ được tư vấn cấu hình phù hợp, đảm bảo đúng model, đúng cấu hình theo tiêu chuẩn của nhà sản xuất, đầy đủ CO CQ và chính sách bảo hành chính hãng.