Máy chủ NVIDIA Vera Rubin NVL72 | Nền tảng tính toán siêu cấp dành cho AI Factory

NVIDIA Vera Rubin NVL72 là siêu máy chủ quy mô rack-scale của NVIDIA, được cho ra mắt để thúc đẩy cuộc cách mạng của nền công nghiệp AI trên quy mô lớn. Máy chủ này sử dụng thiết kế Extreme co-design để kết hợp sức mạnh của GPU Rubin, CPU Vera, ConnectX-9 SuperNIC, BlueField-4 DPU, NVLink 6, Quantum-X800 Infiniband và Spectrum-X giúp mang lại hiệu năng AI đẳng cấp thế giới cho các AI Factory.

Vera Rubin NVL72 được xây dựng trên rack NVIDIA MGX NVL72 thế hệ thứ 3 với các tray dạng module không dây cáp, không quạt và không ống dẫn chất lỏng làm mát giúp giảm đáng kể thời gian triển khai và bảo trì cho các hệ thống lớn có hàng trăm rack.

Bạn có thể xem thêm các máy chủ NVIDIA mạnh mẽ.

Chi tiết sức mạnh cấu hình của NVIDIA Vera Rubin NVL72

NVIDIA đã công bố nền tảng Vera Rubin NVL72 là sự kết hợp hoàn hảo của 6 con chip hiện đại nhất của hãng công nghệ này. Mỗi chip được thiết kế cho một vai trò cụ thể trong AI Factory. Hãy cùng tìm hiểu chi tiết sức mạnh của 6 siêu chip tiên tiến này nhé! 

CPU Vera được thiết kế riêng cho các AI Factory

Mỗi node tính toán của NVIDIA Vera Rubin NVL72 được trang bị 2 CPU NVIDIA Vera, mỗi CPU có 88 lõi Olympus tương thích hoàn toàn với Armv9.2. CPU Vera sử dụng công nghệ Spatial Multithreading mang tới 176 luồng xử lý để tăng tốc cho các quá trình di chuyển dữ liệu và xử lý agentic trong các AI Factory hiện đại.

Mỗi node tính toán của NVIDIA Vera Rubin NVL72 được trang bị 2 CPU NVIDIA Vera, mỗi CPU có 88 lõi Olympus tương thích hoàn toàn với Armv9.2. CPU Vera sử dụng công nghệ Spatial Multithreading mang tới 176 luồng xử lý để tăng tốc cho các quá trình di chuyển dữ liệu và xử lý agentic trong các AI Factory hiện đại.

GPU Rubin mang trong mình những công nghệ hàng đầu

GPU Robin được trang bị Tranformer Engine thế hệ thứ 3 với công nghệ hardware-accelerated adaptive compression. Công nghệ này giúp GPU có thể tự động điều chỉnh mức độ chính xác của các phép tính ở từng phần của mô hình AI một cách hợp lý để tăng tốc độ xử lý mà không gây ảnh hưởng đến độ chính xác của kết quả cuối cùng.

GPU Rubin có khả năng triển khai NVFP4 với hiệu năng inference đạt 50 petaflops, cao hơn 5 lần so với Blackwell. Và hiệu năng huấn luyện đạt 35 petaflops, cao hơn 3.5 lần so với Blackwell.

Rubin là GPU đầu tiên được tích hợp bộ nhớ HBM4 có băng thông tới 22TB/s, đây chính là một bước nhảy vọt về công nghệ giúp giải quyết các nút thắt băng thông mà các mô hình MoE lớn thường xuyên gặp phải.

Xem thêm các GPU NVIDIA chính hãng.

Switch NVLink 6 tăng tốc các kết nối bên trong rack

Thiết bị chuyển mạch NVIDIA NVLink 6 có khả năng tăng gấp đôi băng thông giao tiếp của mỗi GPU lên 3.6TB/s. Khi triển khai ở quy mô full rack, hệ thống có thể đạt băng thông 260Tb/s.

Hạ tầng kết nối này giúp mỗi GPU mở ra khả năng trao đổi dữ liệu đồng thời với tất cả các GPU còn lại trong rack một cách trực tiếp thay vì phải truyền tuần tự hay qua nhiều tầng trung gian. Đây là yêu cầu bắt buộc đối với các mô hình AI lớn như Mixture of Expert, nơi mỗi Expert cần phải chia sẻ kết quả tính toán với toàn cụm cluster một cách liên tục.

Switch NVLink 6 còn được tích hợp khả năng xử lý tính toán ngay trong mạng, giúp các phép toán được xử lý chung bởi nhiều GPU diễn ra nhanh hơn, giảm tắc nghẽn lưu lượng và giải phóng GPU khỏi các tác vụ truyền dữ liệu.

Mở rộng kết nối cho hệ thống AI quy mô lớn với ConnectX-9 SuperNIC

Card mạng ConnectX-9 SuperNIC đảm nhiệm vai trò kết nối mở rộng ra ngoài rack, cung cấp băng thông RDMA 1.6TB/s cho mỗi GPU. Thiết bị này được đồng thiết kế với CPU Vera để tối ưu luồng dữ liệu, đồng thời các đường truyền dữ liệu có thể được lập trình bằng phần mềm và được tăng tốc bằng phần cứng.

Tính năng này cho phép các trung tâm AI và phòng nghiên cứu tự xây dựng các thuật toán di chuyển dữ liệu riêng, sao cho phù hợp nhất với mô hình AI mà họ đang triển khai.

DPU BlueField-4 cùng kiến trúc bảo mật ASTRA

BlueField-4 là DPU thế hệ thứ 4 của NVIDIA, được thiết kế mới hoàn toàn để phục vụ các workload AI quy mô lớn. BlueField-4 được trang bị CPU Grace 64 cores, vượt trội hơn hẳn so với CPU ARM Cortex-A78 chỉ có 16 nhân trên BlueField-3, cho sức mạnh xử lý cao hơn 6 lần. DPU này cũng được tích hợp sẵn ConnectX-9 SuperNIC mang tới băng thông mạng 800Gb/s.

Trong hệ thống Vera Rubin NVL72, BlueField-4 đảm nhận toàn bộ các tác vụ mạng, lưu trữ và bảo mật để các CPU Vera và GPU Rubin tập trung hoàn toàn vào việc chạy mô hình AI.

Trên BlueField-4, NVIDIA cũng lần đầu tiên giới thiệu kiến trúc bảo mật ASTRA. ASTRA cung cấp một điểm điều khiển tập trung duy nhất để triển khai, cô lập và vận hành các môi trường AI quy mô lớn một cách an toàn và không làm ảnh hưởng đến hiệu năng.

Ethernet Switch Spectrum-6: nền tảng cho hệ thống mạng scale-out

Spectrum-6 chính là nền tảng cho mạng scale-out của NVIDIA. Switch này sử dụng công nghệ SerDes 200G PAM4 kết hợp với co-packaged optics để mang đến băng thông chuyển mạch 102.4 TB/s, đảm nhiệm luồng lưu lượng east-west giữa các rack VR NVL72.

NVIDIA đã chuyển sang co-packaged optics bằng cách tích hợp thành phần quang vào silicon của switch. Sự thay đổi này mang đến độ tin cây cao hơn 10 lần, thời gian uptime của các ứng dụng dài hơn 5 lần và hiệu quả năng lượng cao hơn 5 lần.

Hiệu năng AI siêu khủng của NVIDIA Vera Rubin NVL72

NVIDIA Vera Rubin NVL72 có khối tính toán, bộ nhớ và khối hạ tầng mạng được đồng thiết kế để kết hợp với nhau một cách chặt chẽ nhất. Mật độ tính toán cao hơn trên mỗi rack cùng với các kết nối hiệu quả hơn giúp giảm tiêu tốn tài nguyên trong các tác vụ đồng bộ hoá và giao tiếp giữa các expert trong mô hình MoE. Điều này giúp tối ưu chi phí và khả năng vận hành AI ở quy mô lớn.

Vera Rubin NVL72 có thể hoàn thành huấn luyện một mô hình MoE 10T trên 100 nghìn tỷ tokens trong vòng một tháng mà chỉ sử dụng ¼ số lượng GPU so với Blackwell NVL72.

Các “thinking” models hiện đại như Kimi-K2-Thingking của Moonshot AI trước khi đưa ra câu trả lời cuối cùng sẽ sinh ra một chuỗi suy luận nội bộ rất dài. Nó sẽ khiến số lượng token đầu ra tăng mạnh theo số lượng người dùng đồng thời, từ đó sẽ dẫn tới thời gian phản hồi kéo dài tới vài phút. Vera Rubin NVL72 có thể giải quyết tốt vấn đề này nhờ thông lượng cao.

Cụ thể, với workload Kimi-K2-Thinking, Vera Rubin NVL72 đạt thông lượng tạo token/MW cao hơn 10 lần so với Blackwell NVL72.

Không chỉ dừng lại ở thông lượng, chi phí trên mỗi 1M token đầu ra của Vera Rubin NVL72 cũng thấp hơn 10 lần so với Blackwell NVL72.

Bảng thông số kỹ thuật chi tiết của NVIDIA Vera Rubin NVL72

Xem thêm các thông số kỹ thuật chính hãng của sản phẩm Tại Đây!

Đặt hàng các giải pháp và sản phấm NVIDIA chính hãng, giá tốt tại CNTTShop

NVIDIA Vera Rubin NVL72 là nền tảng AI quy mô rack được thiết kế cho các workload huấn luyện và inference thế hệ mới, đặc biệt là MoE và agentic AI. Hệ thống tích hợp chặt chẽ GPU Rubin, CPU Vera, NVLink 6 và hạ tầng mạng tốc độ cực cao, cho phép đạt mật độ tính toán lớn, thông lượng bền vững và hiệu quả chi phí vượt trội so với các kiến trúc trước đó.

Tại CNTTShop, các giải pháp NVIDIA Vera Rubin NVL72 được tư vấn và cung cấp chính hãng, bám sát nhu cầu triển khai thực tế của từng doanh nghiệp và trung tâm dữ liệu.

Liên hệ CNTTShop để được tư vấn và nhận báo giá tốt nhất cho NVIDIA Vera Rubin NVL72 cũng như các nền tảng AI NVIDIA chính hãng khác.