NVIDIA DGX là gì? (Tìm hiểu về Nvidia DGX, hệ thống Nvidia DGX, Hạ tầng Nvidia DGX)

Nvidia DGX (Deep GPU Xceleration) là một dòng sản phẩm máy chủ và máy trạm cao cấp do Nvidia thiết kế và tích hợp, nó tập trung vào việc tăng tốc cho các ứng dụng AI học sâu (Deep Learning), máy học (Machine Learning) và điện toán hiệu suất cao HPC (High-Performance Computing), thông qua việc tổng hợp sức mạnh tính toán đồng thời của nhiều GPU cao cấp (4, 8, 32 hoặc 72 Nvidia GPU A100, H100, H200, GB200). Các GPU này được cắm trên bo mạch chủ thông qua khe cắm SXM (SXM Socket) thêm vào đó kết hợp với việc sử dụng CPU x86 hiệu năng cao giúp cho các hệ thống Nvidia DGX luôn tận dụng tối đa các nguồn lực để xử lý các tác vụ AI hàng nghìn tỷ tham số trong thời gian thực một cách ấn tượng nhất.

Các đặc điểm chính của hệ thống NVIDIA DGX

NVIDIA DGX có sức mạnh AI hàng đầu, hệ thống này sử dụng nhiều GPU NVIDIA A100, H100, H200, GB200 dựa trên công nghệ kết nối siêu cao NVLink, VNLink Switch, kết với với các Grace CPU tối ưu cho các mô hình AI lớn.

• Hiệu suất cao: Cung cấp hàng nghìn TFLOPS hiệu suất tính toán với hỗ trợ FP64, FP32, TF32, FP16, BF16 và INT8.
• Hệ thống tích hợp hoàn hảo: Bao gồm phần cứng, phần mềm và các công cụ, thư viện tối ưu hóa chuyên biệt cho AI như NVIDIA AI Enterprise.
• Khả năng mở rộng: Có thể kết nối nhiều DGX để tạo thành cụm DGX SuperPOD phục vụ AI ở quy mô siêu lớn.
• Ứng dụng đa dạng: Được dùng cho các mô hình AI, khoa học dữ liệu, nghiên cứu y tế, tài chính, tự động hóa và siêu máy tính.

Dưới đây là các dòng sản phẩm DGX đã được Nvidia phát triển

1. Nvidia DGX với thế hệ Chip Pascal - Volta

Nvidia DGX-1: Sử dụng 8 GPU dựa trên kiến trúc Pascal hoặc Volta3, 128 GB bộ nhớ HBM2, và kết nối thông qua NVLink, các GPU sử dụng SXM socket và SXM-2 socket DGX-1 được Nvidia giới thiệu vào 06 tháng 4 năm 2016, với cấu hình như sau:

• 2x Intel Xeon E5 CPUs.
• 512 GB of DDR4-2133.
• Dual 10 Gb networking.
• 4 x 1.92 TB SSDs.
• 3200W of combined power supply capability.
• 3U Rackmount Chassis.
• Có hiệu năng: 170 teraflop (Pascal) và 960 teraflop (Volta).

Nvidia DGX Station: Máy tính AI để bàn, hoạt động độc lập, không cần cơ sở hạ tầng trung tâm dữ liệu, với cấu hình như sau:

• Four Volta-based Tesla V100 accelerators, each with 16 GB of HBM2 memory.
• 480 TFLOPS FP16.
• Single Intel Xeon E5-2698 v4[11].
• 256 GB DDR4.
• 4x 1.92 TB SSDs.
• Dual 10 Gb Ethernet.

Nvidia DGX-2: Nvidia DGX-2 là phiên bản nâng cấp của DGX-1, sử dụng 16 GPU V100 32 GB (GPU thế hệ thứ hai). Nó được công bố vào ngày 27 tháng 3 năm 2018. DGX-2 có năng lực xử lý 2 Petaflop với 512 GB bộ nhớ dùng chung để xử lý các tập dữ liệu lớn và sử dụng NVSwitch dùng cho kết nối băng thông cao giữa các GPU. DGX-2 có tổng cộng 512 GB bộ nhớ HBM2 và 1,5 TB DDR4. Ngoài ra còn có 08 card InfiniBand 100 Gbit/giây và 30,72 TB dung lượng lưu trữ SSD, được tích hợp trong một khung máy Rackmount 10U với điện áp tiêu thu 10 kW khi tải tối đa.

Hệ thống Nvidia DGX-2 sử dụng 16 GPU V100 32 GB

2. Nvidia DGX với thế hệ Chip Ampere A100

Nvidia DGX A100 Server: Nvidia DGX A100 được Nvidia công bố vào ngày 14 tháng 5 năm 2020. DGX A100 là thế hệ thứ 3 của dòng máy chủ DGX, bao gồm 8 GPU A100 SXM4 dựa trên công nghệ Ampere, với 15 TB dung lượng lưu trữ PCIe gen4 NVMe, 1 TB RAM và 8 NIC InfiniBand ConnectX-6 HDR 200GB/s Mellanox. DGX A100 được tích hợp trong một chassis Rackmount 6U nhỏ gọn hơn nhiều so với DGX-2 10U. DGX A100 cũng được chuyển sang dùng CPU AMD EPYC 7742 64 Cores thay vì dùng CPU Intel Xeon như DGX-2.

Hệ thống NVDIA DGX 8GPU A100

3. DGX với thế hệ Chip Hopper H100 và H200

Nvidia DGX H100 Server: Nvidia DGX H100 được công bố vào ngày 22 tháng 3 năm 2022, DGX H100 là thế hệ máy chủ DGX thứ 4, được xây dựng với 8 GPU H100 SXM5 với công nghệ Hopper, với hiệu năng 32 PFLOPs đối với FP8 AI compute và 640GB HBM3, DGX H100 cũng tăng băng thông VRAM lên 3TB/giây, khung máy của DGX H100 là rackmount 8U với công xuất TDP 700W trên mỗi H100 SXM5. DGX H100 cũng có hai ổ SSD 1,92 TB để lưu trữ Hệ điều hành và 30,72 TB SSD cho dữ liệu ứng dụng. Một bổ sung đáng chú ý nữa là sự hiện diện của hai Nvidia Bluefield 3 DPU, và nâng cấp lên 400 Gbit/giây InfiniBand thông qua Mellanox ConnectX-7 NIC, tăng gấp đôi băng thông so với DGX A100. DGX H100 sử dụng các Card Cedar Fever, mỗi Card có bốn bộ điều khiển ConnectX-7 400 GB/giây và 2 Card cho mỗi hệ thống. Điều này cung cấp cho DGX H100 3,2Tbit/s Infiniband. DGX H100 có hai CPU có thể mở rộng Xeon Platinum 8480C và 2TB RAM.

Server NVIDIA DGX H100

Nvidia DGX H200 Server: Nvidia DGX H200 Được công bố vào tháng 5 năm 2023, DGX H200 mang đến một tiêu chuẩn vàng cho cơ sở hạ tầng AI, mở rộng ranh giới đổi mới và tối ưu hóa doanh nghiệp. Là một phần của nền tảng DGX, DGX H200 là hệ thống AI mạnh mẽ, là nền tảng của NVIDIA DGX SuperPOD và DGX BasePOD, được tăng tốc nhờ hiệu suất đột phá của GPU NVIDIA H200 Tensor Core. Cấu hình của hệ thống DGX H200 như sau:

• 8x NVIDIA H200 GPUs With 1,128 Gigabytes of Total GPU Memory
• 18x NVIDIA® NVLink® connections per GPU, 900 Gb/s of bidirectional GPU-to-GPU bandwidth
• 4X NVIDIA NVSwitches™
• 7.2 Tb/s of bidirectional GPU-to-GPU bandwidth, 1.5X more than previous generation
• 10x NVIDIA ConnectX®-7 400 Gb/s Network Interface
• 1 Tb/s of peak bidirectional network bandwidth
• Dual Intel® Xeon® Platinum 8480C Processors and 2 TB System Memory
• Powerful CPUs for the most intensive AI jobs
• 30 Terabytes NVMe SSD
• High speed storage for maximum performance

4. DGX thế hệ chip Blackwell NVIDIA DGX B200

NVIDIA DGX B200 là nền tảng mới nhất của NVIDIA DGX. Nền tảng AI hợp nhất này định nghĩa chương tiếp theo của AI tạo sinh bằng cách tận dụng tối đa GPU NVIDIA Blackwell và các kết nối tốc độ cao. Được cấu hình với 8 GPU Blackwell, DGX B200 mang lại hiệu suất AI tạo sinh vô song với bộ nhớ GPU khổng lồ lên đến 1.4TB và băng thông bộ nhớ HBM3e 64TB/s và băng thông GPU kết nối đến tất cả các GPU trong hệ thống là 14,4 TB/s, khiến nó trở nên phù hợp độc đáo để xử lý bất kỳ khối lượng công việc của bất kỳ một mô hình AI nào.

• GPU 8x NVIDIA Blackwell GPUs.
• GPU Memory 1,440GB total, 64TB/s HBM3e bandwidth.
• Performance 72 petaFLOPS FP8 training and 144 petaFLOPS FP4 inference.
• NVIDIA® NVSwitch 2.
• NVIDIA NVLink Bandwidth 14.4 TB/s aggregate bandwidth.
• System Power Usage ~14.3kW max.
• CPU 2 Intel Xeon Platinum 8570 Processors 112 Cores total, 2.1GHz(Base), 4GHz(Max Boost).
• System Memory 2TB, configurable to 4TB.
• RackMount 10U.

Chip Blackwell NVIDIA DGX B200

NVIDIA DGX SuperPOD (Siêu hệ thống hàng nghìn tỷ tham số cho AI)

DGX SuperPOD sử dụng nhiều hệ thống DGX A100, DGX H100, DGX H200 hoặc NVIDIA DGX B200  kết hợp với nhau để tăng cường sức mạnh tính toán. NVIDIA DGX SuperPOD là giải pháp siêu máy tính AI mạnh nhất hiện nay, giúp tăng tốc huấn luyện AI, mô hình ngôn ngữ lớn, Generative AI và xử lý dữ liệu quy mô lớn.

NVIDIA DGX SuperPod

✅ Kết hợp hàng trăm hệ thống DGX A100, DGX H100, DGX H200 hoặc DGX B200 thành một hệ thống học sâu và suy luận cho các ứng dụng AI với hàng nghìn tỷ tham số đồng thời.
✅ Băng thông Nvlink 1,800Gbps giúp truyền dữ liệu cực nhanh
✅ Ứng dụng: Các công ty công nghệ AI như OpenAI, Google DeepMind, Tesla AI

Phần kết luận

NVIDIA DGX là giải pháp siêu máy tính AI mạnh mẽ với sự kết hợp của nhiều GPU Nvidia cao cấp, giúp đẩy nhanh tốc độ huấn luyện và triển khai các mô hình AI. Với GPU hiệu năng cao, phần mềm tối ưu hóa và hỗ trợ chuyên gia, DGX là lựa chọn hàng đầu cho các tổ chức nghiên cứu và phát triển AI trên toàn cầu.

NVIDIA DGX không chỉ là một phần cứng, mà đó là một hệ sinh thái giúp tăng tốc quá trình phát triển và triển khai AI. Từ DGX-1 đầu tiên đến DGX H200 mới nhất, NVIDIA tiếp tục thiết lập chuẩn mực cho những gì có thể trong siêu máy tính AI. Lần tới khi bạn nghe về các ứng dụng AI hay những nghiên cứu AI mang tính đột phá, rất có thể nó được hỗ trợ bởi hệ thống DGX.

Nếu bạn đọc cần tư vấn giải pháp các hệ thống máy chủ GPU, siêu máy tính để nghiên cứu và phát triển AI, hãy liên hệ ngay tới CNTTShop để được các chuyên gia hỗ trợ nhanh nhất.