Máy chủ Nvidia GB200 NVL72 - Sức Mạnh Tính Toán Và Suy Luận AI Hàng Nghìn Tỷ Tham Số

NVIDIA GB200 NVL72 là máy chủ có thiết kế quy mô giá đỡ làm mát bằng chất lỏng tiên tiến, được thiết kế để cách mạng hóa việc suy luận và huấn luyện mô hình ngôn ngữ lớn (LLM) với hàng nghìn tỷ tham số tại thời gian thực. GB200 NVL72 có sức mạnh vô đối bởi công nghệ NVLINK liên kết tập hợp các siêu chip GB200 Grace Blackwell Superchip hoạt động như một GPU lớn.

NVIDIA GB200 NVL72 đại diện cho một bước nhảy vọt của máy chủ trung tâm dữ liệu AI và HPC, với kiến trúc sáng tạo và kết hợp các thành phần mạnh mẽ của nó giúp GB200 NVL72 trở thành nền tảng cho các tác vụ tính toán hiện đại, cung cấp hiệu suất vượt trội cho suy luận và huấn luyện AI LLM.

1. Chi tiết các thành phần tạo nên sức mạnh của NVIDIA GB200 NVL72

Hãy cùng xem trên GB200 NVL72 có các thành phần nào để tạo nên một siêu máy chủ đạt hiệu suất tính toán cực lớn, khả năng xử lý các tác vụ tính toán phức tạp một cách nhanh chóng và hiệu quả, đặc biệt là trong lĩnh vực của AI và HPC.

1.1. 18 compute node GB200 rack 1U.

Một trong những thành phần mang tới sức mạnh tính toán cho NVIDIA GB200 NVL72 đó chính là 18 GB200 Compute Node (nốt tính toán) được chia thành 2 cụm ngăn xếp. 10 nốt tính toán GB200 lắp đặt ở cụm phía trên và 8 GB200 lắp đặt ở cụm phía dưới.

Một Compute Node GB200 có thiết kế tiêu chuẩn rack 1U, được trang bị 2 siêu chip Grace-Blackwell. Trên một siêu chip Grace-Blackwell có cấu trúc 2 GPU NVIDIA Blackwell Tensor Core hiệu suất cao và một CPU NVIDIA Grace kết nối với nhau bằng NVIDIA NVLink-C2C, tạo nên một GB200 sẽ có 4 GPU Blackwell và 2 CPU Grace. Như vậy trên máy chủ NVIDIA GB200 NVL72 sẽ có tổng cộng 36 CPU Grace và 72 GPU Blackwell, kết hợp với công nghệ NVLink 72 GPU này sẽ hoạt động như một GPU lớn duy nhất và cung cấp khả năng suy luận LLM nghìn tỷ tham số theo thời gian thực nhanh hơn 30 lần.

Superchip Grace-Blackwell

1.2. Chín thiết bị chuyển mạch NVlink Switch.

9 thiết bị chuyển mạch Switch NVlink trên NVIDIA GB200 NVL72 được thiết kế trong ngăn xếp ở giữa 2 cụm Compute Node GB200. Chín Switch NVlink này dùng để kết nối tất cả 18 nút tính toán siêu dày đặc GB200 với nhau thành 1 GPU duy nhất, việc thiết kế cụm Switch này nằm ở giữa giúp việc kết nối tới các nốt tính toán GB200 với chiều dài dây cáp mạng ở mức tối thiểu nhất.

Bên trong các thiết bị chuyển mạch NVlink. Mỗi thiết bị chứa một cặp NVLink 7.2T ASICs, cung cấp tổng cộng 144 kết nối 100 GBps. Với mỗi rack có chín bộ chuyển mạch NVLink, tổng băng thông hai chiều là 1.8 TBps, tương ứng với 18 kết nối, được phân chia đều cho mỗi GPU trong 72 GPU Blackwell trong rack. Điều này có nghĩa là mỗi GPU có sẵn một lượng lớn băng thông hai chiều để truyền dữ liệu với các thành phần khác trong hệ thống, giúp tối ưu hóa hiệu suất tính toán và truyền thông trong các ứng dụng AI và HPC.

Bên trong NVLink Switch

1.3. Nguồn, làm mát và quản lý.

Ngăn xếp trên cùng của NVIDIA GB200 NVL72 là Switch ToR Spectrum 52 cổng trong đó 48 cổng RJ45 gigabit và 4 cổng quang QSFP28 100Gbps. Các thiết bị chuyển mạch này được sử dụng để quản lý và truyền dữ liệu liên tục từ các nút tính toán GB200 khác nhau ra bên ngoài.

Ngay bên dưới các thiết bị chuyển mạch Spectrum này và ở ngăn xếp cuối cùng của tủ Rack là hệ thống 6 nguồn điện (PSU) chịu trách nhiệm cấp nguồn điện cho toàn bộ hệ thống NVIDIA GB200 NVL72 với công suất lên đến 120kW.

chất làm mát được thiết kế để bơm qua dây với tốc độ 2 lít mỗi giây.

Nhu cầu tính toán ngày càng tăng và các trung tâm dữ liệu phải hỗ trợ các triển khai HPC và AI mật độ cao. Với hệ thống siêu tính toán GB200 NVL72 NVIDIA sử dụng phương pháp làm mát bằng chất lỏng, chúng ta để ý vào 2 ống dây dẫn đằng sau để bơm chất làm mát vào hệ thống ở nhiệt độ 25°C với tốc độ hai lít mỗi giây và ra khỏi hệ thống ở nhiệt độ cao hơn 20 độ (tức là khoảng 45°C).

1.4. Hệ thống dây cáp mạng kết nối

Với thiết kế khoa học tối ưu, vị trí hệ thống Switch NVlink nằm giữa hai cụm GB200 giúp giảm chiều dài cáp kết nối đáng kể nhưng vần cần dùng tới 3,2km cáp đồng. Có một câu hỏi đặt ra là để đảm bảo tốc độ băng thông lớn tại sao NVIDIA không sử dụng cáp quang? đúng như vậy nhưng việc sử dụng cáp quang sẽ dẫn đến tăng thêm 20kW vào mức tiêu thụ điện của hệ thống, đây là một mức tiêu thụ rất lớn so với mức tiêu thụ điện vốn đã khổng lồ của hệ thống NVIDIA GB200 NVL72.

2. Hiệu suất suy luận ngôn ngữ lớn (LLM) thời gian thực nhanh hơn 30 lần.

Máy chủ NVIDIA GB200 NVL72 có các GPU Blackwell lõi Tensor Core có các định dạng tính toán số học đa dạng (FP4, FP8/FP6, INT8, FP16/BF16, TF32, FP64) với chính xác cao và thông lượng lớn hơn. Đặc biệt cho phép thực hiện các tác vụ AI với độ chính xác FP4 kết hợp với công nghệ Transformer Gen4 và NVLink Gen5, GB200 NVL72 cung cấp hiệu suất suy luận LLM thời gian thực nhanh hơn gấp 30 lần cho các mô hình ngôn ngữ có hàng nghìn tỷ tham số.

3. Khả năng đào tạo, huấn luyên các mô hình AI nhanh hơn 4 lần.

GB200 NVL72 có bộ xử lý Transformer nhanh hơn với độ chính xác số học tính toán 8-bít FP8, cho phép huấn luyện các mô hình ngôn ngữ lớn nhanh hơn gấp 4 lần. Sự đột phá này có được do GB200 NVL72 được trang bị NVLink thế hệ thứ năm, cung cấp tốc độ kết nối giữa các GPU lên đến 1,8 TB/s, cùng với mạng InfiniBand và phần mềm NVIDIA Magnum IO™ để tối ưu hóa hiệu suất tổng thể.

4. Khả năng xử lý dữ liệu nhanh hơn 18 lần so với CPU.

NVIDIA GB200 NVL72 có tổng cộng 18 Superchip GB200 Blackwell Grace, mỗi Superchip được trang bị 864GB bộ nhớ trong đó 480GB LPDDR5x gắn trên CPU Grace và 384GB HBM3e gắn trên GPU Blackwell. Mỗi Superchip có thể đạt hiệu suất tính toán 40 petaFLOPS ở độ chính xác FP4 sparse. Điều này có nghĩa là mỗi đơn vị tính toán trong hệ thống có thể tạo ra 80 petaFLOPS cho các tác vụ AI, và toàn bộ giá đỡ có thể đạt 1.44 exaFLOPS cho các phép toán dấu chấm động siêu thấp.

Các Superchip GB200 Blackwell Grace trên NVIDIA GB200 NVL72 còn được liên kết với nhau bằng NVLink-C2C tạo nên một siêu chip lớn có hiệu suất bộ nhớ băng thông cực cao. Cùng với khả năng giải nén chuyên dụng trong kiến trúc NVIDIA Blackwell để tăng tốc các truy vấn cơ sở dữ liệu lên đến 18 lần so với CPU. Như vậy khi doanh nghiệp sở hữu được GB200 NVL72, hệ thống máy chủ mạnh mẽ với tổng chi phí sở hữu (TCO) tốt hơn 5 lần.

5. Các công nghệ đột phá trên NVIDIA GB200 NVL72

• Kiến trúc GPU Blackwell: kiến trúc GPU NVIDIA Blackwell của NVIDIA GB200 NVL72 là một công nghệ mang tính đột phá trong lĩnh vực tính toán tăng tốc, mang lại hiệu suất, hiệu quả và khả năng mở rộng vượt trội. Những tiến bộ này giúp thúc đẩy một kỷ nguyên mới trong ngành công nghiệp tính toán, nơi các hệ thống có thể xử lý khối lượng công việc lớn hơn với hiệu suất và hiệu quả cao hơn.
• CPU NVIDIA Grace: là một bộ xử lý đột phá được thiết kế trên máy chủ GB200 NVL72 cho các trung tâm dữ liệu hiện đại, phục vụ cho các ứng dụng AI, đám mây và HPC. CPU này mang lại hiệu suất cao, băng thông bộ nhớ lớn và hiệu quả năng lượng gấp đôi so với các bộ xử lý máy chủ hàng đầu hiện nay, tạo nên một bước tiến lớn trong lĩnh vực công nghệ xử lý dữ liệu.
• NVLink thế hệ thứ 5: Công nghệ NVLink thế hệ thứ năm của NVIDIA là một công nghệ kết nối đột phá, giúp máy chủ GB200 NVL72 tăng cường hiệu suất tính toán cấp Exascale và các mô hình AI với hàng nghìn tỷ và hàng triệu tỷ tham số. Công nghệ này cho phép các GPU trong cụm máy chủ giao tiếp với nhau nhanh chóng và liền mạch, khai thác toàn bộ tiềm năng của các hệ thống tính toán lớn và phức tạp.
• NVIDIA Networking: Các thiết bị kết nối mạng của NVIDIA trên GB200 NVL72 đóng vai trò quan trọng trong việc nâng cao hiệu suất và tiến bộ của AI trong các trung tâm dữ liệu. Các công nghệ như NVIDIA Quantum-X800 InfiniBand, NVIDIA Spectrum™-X800 Ethernet và NVIDIA BlueField®-3 DPU cho phép kết nối và mở rộng hệ thống hiệu quả trên hàng trăm và hàng nghìn GPU Blackwell, đảm bảo hiệu suất ứng dụng tối ưu.

5. Thông số kỹ thuật chi tiết của NVIDIA GB200 NVL72

6. CNTTShop - Đơn vị uy tín cung cấp sản phẩm và giải pháp NVIDIA giá tốt.

Trên đây là toàn bộ thông tin chi tiết về siêu máy chủ NVIDIA GB200 NVL72, được thiết kế đặc biệt cho các trung tâm dữ liệu hiện đại và các ứng dụng AI, HPC. Máy chủ này tích hợp 72 GPU Blackwell mạnh mẽ và 36 CPU NVIDIA Grace, kết hợp với công nghệ làm mát bằng chất lỏng tiên tiến, đảm bảo hiệu suất tối ưu và khả năng mở rộng vượt trội. Với NVLink thế hệ thứ năm và bộ nhớ băng thông cao, GB200 NVL72 mang lại hiệu suất tính toán vượt trội, tốc độ truyền tải dữ liệu nhanh chóng và khả năng xử lý các mô hình AI lớn với hàng nghìn tỷ tham số. Đây là giải pháp lý tưởng cho các doanh nghiệp yêu cầu khả năng tính toán mạnh mẽ và hiệu quả. Nếu bạn đọc quan tâm tới sản phẩm vui lòng liên hệ tới chúng tôi.

CNTTShop.vn là địa chỉ tin cậy cho các sản phẩm và giải pháp công nghệ tiên tiến từ NVIDIA. Chúng tôi chuyên cung cấp các giải pháp AI, HPC và nhiều sản phẩm chính hãng của NVIDIA với giá tốt nhất. Với đội ngũ chuyên gia tư vấn chuyên nghiệp, CNTTShop cam kết mang đến cho khách hàng những giải pháp tối ưu, chất lượng cao và dịch vụ hỗ trợ tận tâm. Hãy đến với CNTTShop để trải nghiệm sự khác biệt trong công nghệ và dịch vụ!

Đọc thêm