Giới thiệu hệ thống siêu tính toán NVIDIA GB200 NVL72

Trong Quý 1 vừa qua NVIDIA vừa giới thiệu một loạt các công nghệ mới nhất NVLink-C2C (NVLink Chip-to-Chip) và thế hệ GPU mạnh mẽ nhất - NVIDIA Blackwell Tensor Core và đặc biệt sự kết hợp tuyệt vời giữa GPU mạnh nhất NVIDIA Blackwell Tensor Core và NVIDIA Grace CPU thông qua kết nối siêu tốc độ NVLink Chip-to-Chip đã tạo ra tổ hợp xử lý và tính toán ưu tú nhất NVIDIA GB200 Grace Blackwell Superchip. Một siêu Chíp NVIDIA GB200 Grace Blackwell Superchip được tạo nên từ sự kết hơp giữa 01 NVIDIA Grace CPU và 02 NVIDIA Blackwell.

NVIDIA giới thiệu GB200 Grace Blackwell Superchip sử dụng AI Tạo Sinh với hàng nghìn tỷ tham số.

Chưa dừng lại ở việc tạo ra một Node có tổ hợp tính toán tuyệt với GB200 Grace Blackwell Superchip, NVIDIA còn kết hợp nhiều GB200 Grace Blackwell Superchip lại với nhau cùng làm việc đồng thời với nhau để tạo ra một Siêu máy chủ hiệu năng siêu cao NVIDIA GB200 NVL72. Hệ thống siêu máy chủ này bao gồm 36 GB200 Grace Blackwell Superchip tức bao gồm 36 NVIDIA Grace CPU kết hợp với 72 NVIDIA Blackwell GPU  trong một tủ RACK và cả hệ thống được làm mát bằng chất lỏng (liquid-cooled).

NVIDIA đã sử dụng công nghệ kết nối cao cấp NVLink thế hệ thứ 5 để kết nối các GB200 Grace Blackwell Superchip lại với nhau tạo ra một 72-GPU NVLink domain và do vậy cả RACK này được xem như một Siêu Chip nó cho phép tăng tốc độ lên 30 lần của các suy luận đối với các mô hình siêu ngôn ngữ LLM với hàng nghìn tỷ tham số (trillion-parameter) trong thời gian thực, 1,4 exaflop với các suy luận AI thời gian thực, đồng thời là nền tảng để xây dựng DGX SuperPOD mạnh mẽ nhất hiện nay.

NVIDIA GB200 NVL72 dùng cho các mô hình siêu ngôn ngữ LLMs.

Để tiết kiệm không gian cho việc lắp đặt các Compute Node vào trong tủ RACK GB200 NVL72, thì hai GB200 Grace Blackwell Superchip sẽ được tích hợp vào trong một khay Blackwell Compute Node  (GB200 Compute Node) tức một khay Blackwell Compute Node (GB200 Compute Node) sẽ bao gồm 02 NVIDIA Grace CPU và 04 NVIDIA Blackwell, do vậy một GB200 NVL72 sẽ bao gồm 18 tray Blackwell Compute Node (GB200 Compute Node).

Kiến trúc chi tiết của một NVIDIA Blackwell Compute Node (GB200 Compute Node).

Hình ảnh thực chi tiết của một NVIDIA Blackwell Compute Node (GB200 Compute Node).

Một tủ NVIDIA GB200 NVL72 sẽ bao gồm các thành phần:

1. Top Of Rack của Rack sẽ là cặp Switch TOR.
2. Các Card cấp nguồn được lắp đặt tại ngay bên dưới cặp Switch TOR ở phía trên, và phần dưới cùng của tủ Rack.
3. Các Tray Blackwell Compute Node (GB200 Compute Node) được chia thành 2 cụm, 10 Tray Blackwell Compute Node (GB200 Compute Node), sẽ được lắp phía trên, tiếp đến là 09 NVSwitch và tiếp theo là 8 Tray Blackwell Compute Node (GB200 Compute Node). 09 NVSwitch sẽ cung cấp kết nối NVLink tốc độ siêu cao cho toàn bộ 36 GB200 Grace Blackwell Superchip.

Thông số kỹ thuật của NVIDIA GB200 NVL72 và GB200 Grace Blackwell Superchip

NVIDIA GB200 NVL72 mang lại khả năng xử lý thời gian thực gấp 30 lần so với HGX H100.

Mở rộng hệ thống với Nvidia GB200 NVL72

Với một Rack Nvidia GB200 NVL72 cung cấp cho chung ta năng lực xử lý 1,44 exaFLOPS, khi kết hợp 8 Rack Nvidia GB200 NVL72 sẽ tạo thành một siêu DGX Superpod với số lượng GPU lên đến 576 NVIDIA  GPU.

NVIDIA GB200 NVL72 mở ra một bước phát triển mới cho các mô hình nghìn tỷ tham số thời gian thực (Real-Time Trillion-Parameter Models) như:

• Xử lý ngôn ngữ tự nhiên nâng cao (NLP): NVIDIA GB200 NVL72 vượt trội trong các nhiệm vụ NLP phức tạp bao gồm dịch thuật, trả lời câu hỏi, tóm tắt và cải thiện khả năng thông thạo ngôn ngữ.
• Cải thiện hiểu biết theo ngữ cảnh: Chúng có khả năng duy trì bối cảnh đàm thoại mở rộng, cải tiến đáng kể các chatbot và công nghệ trợ lý ảo.
• Ứng dụng đa phương thức: Bằng cách tích hợp ngôn ngữ, tầm nhìn và lời nói, các mô hình này mở ra những khả năng mới về khả năng hiểu và tương tác với thế giới của AI.
• AI sáng tạo và tạo sinh: Tự sáng tác ra những câu chuyện và thơ ca đến viết mã, những mô hình này đang thúc đẩy một kỷ nguyên mới của các ứng dụng AI sáng tạo.
• Những đột phá khoa học: Ứng dụng của chúng trong các lĩnh vực như gấp protein và khám phá thuốc đang thúc đẩy nghiên cứu và đổi mới khoa học.
• Cá nhân hóa nâng cao: Các mô hình nghìn tỷ thông số có thể phát triển các tính cách độc đáo và ghi nhớ bối cảnh của từng người dùng, mang lại trải nghiệm được cá nhân hóa hơn bao giờ hết.

Tổng kết

Với sự ra mắt của NVIDIA GB200 NVL72, NVIDIA tiếp tục khẳng định vị thế dẫn đầu trong lĩnh vực công nghệ AI và tính toán hiệu năng cao. GB200 NVL72 không chỉ là một bước tiến trong công nghệ GPU mà còn là một giải pháp toàn diện cho các doanh nghiệp và trung tâm dữ liệu đang tìm kiếm hiệu suất cao và khả năng mở rộng cho các tác vụ AI phức tạp. Bằng cách cung cấp khả năng suy luận nhanh hơn và hiệu quả hơn cho các mô hình ngôn ngữ lớn, NVIDIA GB200 NVL72 mở ra những khả năng mới cho việc xử lý và phân tích dữ liệu lớn. Đây chắc chắn là một trong những nền tảng mạnh mẽ nhất hiện nay, đánh dấu một kỷ nguyên mới trong tính toán hiệu năng cao và AI.

CNTTShop, là đơn vị chuyên cung cấp giải pháp hạ tầng CNTT và Điện toán Hiệu năng cao (HPC) cho AI, luôn sẵn sàng hỗ trợ khách hàng trong việc cung cáp và tối ưu hóa các hệ thống sử dụng NVIDIA GB200 NVL72. Bằng kinh nghiệm và chuyên môn, chúng tôi mang đến những giải pháp công nghệ tiên tiến nhất, giúp doanh nghiệp khai thác tối đa sức mạnh của công nghệ AI và đạt được những thành công vượt trội.