Giới thiệu về NVIDIA DGX H100

Hệ thống NVIDIA DGX H100 là giải pháp máy chủ chuyên dụng và đa năng được thiết kế cho mọi cơ sở hạ tầng AI và khối lượng công việc HPC, toàn diện từ phân tích và đào tạo đến suy luận. Hệ thống được bao gồm các phần cứng GPU H100, CPU Intel Xeon Platium, RAM DDR5, Ổ Cứng NVMe, Card Mạng ConnectX-7 VPI, NVLink, NVSwitch, NVIDIA Base Command™ và bộ phần mềm NVIDIA Enterprise, hệ thống kết nối tốc độ cao, cùng với nhiều công nghệ hiện đại.

Phần cứng và linh kiện trong DGX H100

DGX H100 được thiết kế kiểu dáng Rack 4U để dễ dàng lắp đặt trong các trung tâm dữ liệu với hạ tầng sử dụng nguồn điện 200-240V AC. Có kích thước cao 14 inch, rộng tối đa 19 inch, sâu tối đa 35,3 inch và trọng lượng khoảng 130,45 kg, đây là một máy chủ siêu cao cấp dành cho trí tuệ nhân tạo. 

Tổng quan về phần cứng

Thiết kế mặt trước của NVIDIA DGX H100

Mặt trước của NVIDIA DGX H100 là một mặt nạ bezel màu vàng rất cao cấp, khi mở nắp bezel chúng ta sẽ thấy hệ thống 12 quạt làm mát, 8 khe cắm ổ cứng U.2 NVMe, 2 cổng USB 3.1, 1 cổng VGA, nút nguồn và hệ thống đèn báo trạng thái.

Mặt Bezel bảo vệ mặt trước

Thiết kế mặt trước của DGX H100

Thiết kế mặt sau của NVIDIA DGX H100

Mặt sau của DGX H100 được thiết kế với 3 phần chính: Phần trên cùng là cụm 8 GPU NVIDIA H100, ở giữa là cụm của MainBoard trung tâm của hệ thống và ở dưới cùng là hệ thống 6 bộ cấp nguồn công suất 3.3kW.

Thiết kế và các linh kiện trên bo mạch chủ

Khay bo mạch chủ CPU đóng vai trò là thành phần trung tâm trong máy chủ, bao gồm cả máy chủ tiêu chuẩn và máy chủ được thiết kế cho HPC. Khay này chứa các thành phần thiết yếu, bao gồm bo mạch chủ CPU, bộ nhớ hệ thống, card mạng, PCIE Switch và nhiều thành phần khác. Sau đây là hình ảnh hiển thị các thành phần trong bo mạch chủ trong DGX H100.

1. 100Gb Ethernet NIC (top) ConnectX-7 storage networking (bottom).
2. OSFP transceivers for external ConnectX-7 cluster networking.
3. PCle card riser for slots 2 and 4.
4. M.2 boot drive carrier (top) ConnectX-7 storage networking (bottom).
5. 4 x Densilink cables to communicate ConnectX-7 network devices to external ports.
6. Networking modules. Each includes 4 x ConnectX-7 network devices.
7. PCle card riser for slots 1 and 3.
8. Dual x86 Gen5 PCle capable CPUs.
9. 32 x 64GB DIMMs for a total of 2TB of system memory.
10. Midplane connectivity Power, PCle, sensors and signaling communications

Bo mạch chủ của hệ thống DGX H100 cung cấp các cổng kết nối và điều khiển ở phía sau bao gồm:

• 2x USB Ports (dùng để kết nối bàn phím ngoài và lưu trữ ngoài).
• 1x VGA Port (Dùng để kết nối với màn hình).
• 1x 1GbE R-45 cho Hệ thống quản lý Remote MC.
• 1x 10Gbe RJ-45 remote Host OS Management.
• Unit Identification (UID) push button and LED.
• Power button.
• BMC Reset button
• 4-digit 7-segment LED code display for simplified troubleshooting.
• Serial I/O port.
• Slot 1: Dual port ConnectX-7 card
• Slot 3: 100 Gb/s Ethernet NIC.
• 4 x OSFP ports, each provides connectivity to two ConnectX-7 cards for a total of 8 x 400Gb/s ports.
• Slot 2: Dual port ConnectX-7 card.
• Slot 4: M.2 PCIe carrier for Dual 1.92TB NVMe boot drives.

Hệ thống GPU trong NVIDIA DGX H100

Sức mạnh vượt trội và cũng là bộ não của hệ thống máy chủ DGX H100 là hệ thống 8 GPU NVIDIA H100 Tensor Core có bộ nhớ 640GB được kết nối với nhau bằng hệ thống NVlink thế hệ thứ 4 và 4x NVSwitch thế hệ thứ 4, mang tới sức mạnh tính toán nhanh hàng tỷ tham số và xử lý khối lượng dữ liệu khổng lồ mượt mà. DGX H100 là lựa chọn hoàn hảo cho cơ sở hạ tầng AI và tính toán hiệu năng cao HPC.

1. 4x NVSwitch thế hệ thứ 4
2. 8x 8 GPU NVIDIA H100 Tensor Coro 640GB

Cấu trúc mạch và các thành phần kết nối hệ thống DGX H100

Sức mạnh của máy chủ DGX H100 đến từ một hệ thống kết nối hiện đại tốc độ cao và các thành phần như CPU, GPU, RAM, Ổ Cứng, Network Module, NVSwitch, PCIe cao cấp thế hệ mới nhất.

Sau đây là hình ảnh về cấu trúc hệ thống DGX H100, minh họa các kết nối, cấu hình và mối quan hệ giữa các thành phần phần cứng khác nhau trong một hệ thống.

Công nghệ và phần mềm đi kèm

NVLink và NVSwitch tăng cường hiệu suất tối đa

NVLink 4.0 trên DGX H100 cung cấp băng thông lên tới 900GB/s giữa các GPU, giúp tăng tốc độ truyền dữ liệu giữa các GPU trong hệ thống. Đây là công nghệ kết nối nội bộ mạnh mẽ, giúp giảm độ trễ và tối ưu hóa hiệu suất cho các tác vụ AI và HPC

NVSwitch là thành phần quan trọng giúp kết nối nhiều GPU H100 trong một cụm DGX H100. Với băng thông liên kết cao, NVSwitch cho phép tất cả GPU trong hệ thống trao đổi dữ liệu với nhau mà không bị tắc nghẽn, tạo nên một kiến trúc bộ nhớ chia sẻ hiệu quả.

PCIe 5.0

DGX H100 hỗ trợ PCIe 5.0, mang lại tốc độ truyền dữ liệu nhanh hơn gấp đôi so với PCIe 4.0, giúp cải thiện hiệu suất tổng thể của hệ thống.

NVIDIA Quantum-2 InfiniBand

NVIDIA Quantum-2 InfiniBand là giải pháp kết nối mạng hiệu suất cao, với tốc độ lên tới 400Gb/s, giúp tối ưu hóa khả năng truyền dữ liệu giữa các node trong cụm DGX. Công nghệ này giúp đảm bảo độ trễ thấp và băng thông cao, phù hợp cho các mô hình AI lớn và khối lượng công việc phức tạp.

NVIDIA AI Enterprise phần mềm tối ưu hóa hiệu suất AI

NVIDIA AI Enterprise là bộ phần mềm được thiết kế để tối ưu hóa quá trình triển khai AI trong doanh nghiệp. Với DGX H100, NVIDIA AI Enterprise giúp:

• Hỗ trợ framework AI phổ biến như TensorFlow, PyTorch, MXNet.

• Tối ưu hóa hiệu suất với thư viện CUDA-X AI.

• Cung cấp công cụ quản lý AI, bao gồm NVIDIA Triton Inference Server để triển khai mô hình AI một cách hiệu quả.

• Bảo mật và hỗ trợ kỹ thuật cấp doanh nghiệp.

NVIDIA Base Command giúp quản lý toàn diện hệ thống DGX H100

NVIDIA Base Command là nền tảng quản lý và giám sát DGX H100, cung cấp các tính năng:

• Điều phối khối lượng công việc AI, giúp tối ưu hóa tài nguyên GPU.

• Giám sát hiệu suất hệ thống thông qua giao diện trực quan.

• Hỗ trợ tích hợp với các công cụ DevOps như Kubernetes, Slurm.

• Quản lý nhiều hệ thống DGX trong cùng một cụm, giúp mở rộng khả năng AI.

Hiệu suất của DGX H100

• Sức mạnh tính toán: DGX H100 tích hợp 8 GPU NVIDIA H100 Tensor Core, cung cấp tổng hiệu suất lên đến 32 petaFLOPS ở độ chính xác FP8, đáp ứng hiệu quả các tác vụ AI và HPC phức tạp.
• Bộ nhớ GPU: Mỗi GPU được trang bị 80 GB bộ nhớ HBM3, tổng cộng 640 GB cho toàn hệ thống, với băng thông bộ nhớ đạt 3 TB/giây, cho phép xử lý các mô hình AI lớn và dữ liệu phức tạp một cách mượt mà.
• Kết nối GPU hiệu suất cao: Sử dụng công nghệ NVIDIA NVLink và NVSwitch thế hệ thứ 4, DGX H100 đảm bảo băng thông hai chiều 900 GB/giây giữa các GPU, tăng cường giao tiếp và hiệu suất xử lý.
• Bộ xử lý mạnh mẽ: Hệ thống được trang bị 2 CPU Intel Xeon Platinum 8480C, mỗi CPU có 56 lõi, tổng cộng 112 lõi, cùng với 2 TB bộ nhớ hệ thống, hỗ trợ hiệu quả cho các tác vụ tính toán chuyên sâu.
• Lưu trữ tốc độ cao: DGX H100 bao gồm 2 ổ SSD NVMe 1,92 TB cho hệ điều hành và 8 ổ SSD NVMe 3,84 TB cho dữ liệu ứng dụng, tổng dung lượng lưu trữ lên đến 30,72 TB, đảm bảo khả năng lưu trữ và truy xuất dữ liệu nhanh chóng cảu toàn bộ mô hình AI.
• Kết nối mạng tiên tiến: Hệ thống hỗ trợ kết nối mạng tốc độ cao với 4 cổng OSFP, sử dụng NVIDIA ConnectX-7 VPI, cho phép tốc độ lên đến 400 Gb/giây, phù hợp cho cả giao thức InfiniBand và Ethernet, đáp ứng nhu cầu truyền tải dữ liệu lớn trong các cụm máy chủ AI.
• Công nghệ DPX: DGX H100 tích hợp các lệnh DPX mới, tăng hiệu suất lên đến 7 lần so với A100 và 40 lần so với CPU trong các thuật toán lập trình động như Smith-Waterman, hữu ích trong việc căn chỉnh chuỗi DNA và dự đoán cấu trúc protein.

Với những tính năng và hiệu suất vượt trội, NVIDIA DGX H100 là giải pháp lý tưởng cho các tổ chức và doanh nghiệp đang tìm kiếm hạ tầng mạnh mẽ để triển khai các dự án AI và HPC quy mô lớn.

Ưu điểm có 1-0-2 khi sở hữu máy chủ DGX H100

HPC đã trở thành giải pháp được ưa chuộng để giải quyết những thách về nhu cầu trí tuệ nhân tạo AI. Đối với các doanh nghiệp, Ai và HPC không chỉ là về hiệu suất và chức năng; nó còn liên quan đến sự tích hợp chặt chẽ với kiến ​​trúc và hoạt động CNTT của tổ chức. Là đơn vị tiên phong trong cơ sở hạ tầng HPC, hệ thống DGX của NVIDIA cung cấp nền tảng HPC mạnh mẽ và toàn diện nhất để hiện thực hóa những ý tưởng cơ bản này.

DGX H100 được thiết kế để tối ưu hóa thông lượng HPC, cung cấp cho các doanh nghiệp một nền tảng được tinh chỉnh cao, có tổ chức hệ thống và có khả năng mở rộng để tạo ra bước đột phá trong xử lý ngôn ngữ tự nhiên, phân tích dữ liệu, đào tạo và suy luận AI, v.v.

Giá bán của NVIDIA DGX H100

NVIDIA DGX H100 là một hệ thống máy chủ AI tiên tiến, được thiết kế để đáp ứng các yêu cầu tính toán cao cấp trong lĩnh vực trí tuệ nhân tạo và học máy. Về giá bán, tại thời điểm ra mắt vào năm 2022, DGX H100 được niêm yết với mức giá khoảng 379.000 bảng Anh, tương đương khoảng 482.000 USD.

Tuy nhiên, giá thực tế của DGX H100 có thể thay đổi tùy thuộc vào cấu hình cụ thể, số lượng đặt hàng và các điều khoản thương mại khác.

Ngoài ra, nhu cầu cao đối với các hệ thống như DGX H100 có thể dẫn đến thời gian chờ đợi kéo dài và biến động về giá cả trên thị trường. Do đó, để có thông tin chính xác và cập nhật nhất về giá bán, khách hàng nên liên hệ trực tiếp tới Công Ty TNHH Công Nghệ Việt Thái Dương (CNTTShop) là nhà phân phối chính thức các sản phẩm của NVIDIA , để nhận được báo giá phù hợp với nhu cầu và cấu hình mong muốn của bạn.

Kết luận

Máy chủ DGX H100 dễ dàng tích hợp vào cơ sở hạ tầng CNTT truyền thống, giảm bớt gánh nặng cho đội ngũ nhân viên CNTT. Điều này mạng lại những lợi ích to lớn khi các doanh nghiệp, tổ chức hay trung tâm dữ liệu muốn đầu tư vào hệ thống này để tăng tốc các dự án về AI của mình. Nếu bạn đọc có nhu cầu sở hữu siêu máy chủ DGX H100 chính hãng của NVIDIA, hãy liên hệ tới chúng tôi để được hỗ trợ tốt nhất.

>> Các bạn xem thêm thông tin chi tiết về sản phẩm DGX H100 tại đường dẫn sau: https://cnttshop.vn/nvidia-dgx-h100-may-chu-cao-cap-tang-toc-hieu-suat-ai-hpc

Địa chỉ phân phối máy chủ NVIDIA DGX H100 tại Hà Nội

Địa chỉ phân phối máy chủ NVIDIA DGX H100 tại TP. Hồ Chí Minh