NVlink là gì? Công nghệ Kết Nối GPU CPU Tốc Độ Cao của NVIDIA

Trong thế giới công nghệ hiện đại, hiệu suất và tốc độ xử lý là những yếu tố then chốt quyết định sự thành công của các hệ thống máy tính, hay máy chủ hiệu năng cao. NVLink, một công nghệ tiên tiến được phát triển bởi NVIDIA, đang mở ra một kỷ nguyên mới cho khả năng kết nối và truyền tải dữ liệu giữa các GPU và CPU hay giữa các GPU với nhau. Với băng thông vượt trội và khả năng tối ưu hóa hiệu suất, NVLink không chỉ là một bước đột phá trong ngành công nghệ thông tin mà còn là một giải pháp lý tưởng cho các ứng dụng đòi hỏi khối lượng tính toán lớn như trí tuệ nhân tạo và học sâu. Hãy cùng khám phá chi tiết về NVLink và những lợi ích mà công nghệ này mang lại.

1. NVLink là gì?

Theo kiến trúc của truyền thống của máy tính PC , Workstation, và máy chủ Server thì việc giao tiếp giữa CPU và GPU dựa vào hệ thống BUS PCIe hoạt động theo cơ chế HUB trung tâm.

Hình ảnh mô tả kiến trúc truyền dữ liệu của PCIe

Với sự phát triển bùng nổ của các GPU thì yêu cầu trao đổi dữ liệu giữa CPU - GPU và giữa GPU - GPU ngày càng lớn thì hệ thống BUS của PCIe ngày càng khó đáp ứng được yêu cầu trên, khiến các GPU luôn trong trạng thái đói dữ liệu vì phải chờ dữ liệu do hệ thống PCIe chậm chạp chuyển tới. Để khắc phục được tình trạng này một công nghệ kết nối mới - NVLink được NVidia phát triển (từ năm 2014) công nghệ này giúp cho tốc độ truyền dữ liệu giữa CPU - GPU và giữa các GPU với nhau nhanh hơn từ 5-12 lần so với PCIe.

Hình ảnh mô tả kiến trúc kết nối NVLink giữa các GPU-GPU, CPU-GPU

Không giống như PCIe, một GPU hoặc một Chip có thể có nhiều NVLink, và các GPU / Chip có thể sử dụng các kết nối dạng Mesh Networking để truyền dữ liệu với nhau thay vì kiến trúc HUB tập trung như của PCIe.

Công nghệ NVLink giúp mở khóa toàn bộ tiềm năng của GPU bằng cách tăng đáng kể việc lưu chuyển dữ liệu giữa CPU và GPU, giảm thời gian GPU phải chờ đợi dữ liệu, ngoài băng thông rộng hơn, NVLink còn tiết kiệm điện hơn PCIe và với độ trễ thấp hơn nhiều. Bên cạnh đó, với kiến trúc mới này còn sở hữu tính năng Unified Memory cho phép lập trình viên đối xử với bộ nhớ của CPU và GPU như một khối duy nhất, từ đó giảm thời gian phát triển các ứng dụng đồ sộ như AI, BigData, IOT …

Hình ảnh mô tả Unified Memory

Kể từ phiên bản đầu tiên ra đời từ 2016 đến Q1 năm 2024 NVidia đã phát hành phiên bản thứ 5 của NVLink hỗ trợ cho kiến trúc mới nhất GPU NVIDIA Blackwell 

Với phiên bản thế hệ thứ 5 của NVLink (Fifth-generation NVLink) thì NVidia đã nâng cấp để NVLink có thể hỗ trợ các hệ thống GPU với số lượng lớn. Một GPU NVIDIA Blackwell Tensor Core có thể hỗ trợ được 18 NVLink 100 gigabyte-per-second (800 Gigabit per second), tức là tổng băng thông có thể kết nối đến một Blackwell GPU lên đến 1.8 terabytes per second (TB/s), nhiều hơn 2 lần so với NVLink thế hệ 4 và lên đến 14 lần so với PCIe Gen5. Các nền tảng máy chủ của NVIDIA đời mới nhất như GB200 NVL72 đã tận dụng công nghệ này để mang lại khả năng mở rộng cao hơn cho các hệ thống siêu tính toán lớn phức tạp nhất hiện nay.

2. Công nghệ NVIDIA NVLink Chip-To-Chip (NVLink-C2C) là gì?

Với công nghệ NVLink ra đời cho phép kết nối siêu nhanh giữa các CPU-GPU và GPU-GPU. Quý I năm 2022, Hãng NVIDIA nâng cấp công nghệ NVLink với phiên bản mới gọi là NVLink Chip-To-Chip (hay NVLink-C2C) cho phép kết nối siêu luồng và siêu nhanh giữa Chip-to-Chip và Die-to-Die. Công nghệ mới này cho phép kết nối một cách linh hoạt và độc lập giữa các thành phần CPU, GPU, DPU, NIC và SOC với tốc độ siêu cao và tiết kiệm năng lượng. Với công nghệ siêu kết nối NVIDIA NVLink®-C2C một phát triển đột phá trong việc tích hợp các hệ thống tính toán siêu khổng lồ trong các Datacenter đã được mở ra. Nó cũng đánh dấu một kỷ nguyên mới trong việc tích hợp từ cấp độ Chip đến toàn bộ hệ thống uyển chuyển và linh hoạt hơn, giúp đáp ứng mọi nhu cầu về tính toán trong thời gian thực với các ứng dụng hàng nghìn tỷ tham số. 

Với cách đóng gói tiên tiến, kết nối NVIDIA NVLink-C2C sẽ mang lại hiệu suất tiết kiệm năng lượng lên đến 25 lần và tiết kiệm diện tích gấp 90 lần so với PCIe Gen 5 trên Chip NVIDIA và băng thông của kết nối lên cao hơn 900 Gigabytes per second.

NVIDIA NVLink-C2C hỗ trợ giao thức Arm® AMBA® Coherent Hub Interface (AMBA CHI). NVIDIA và Arm đang hợp tác chặt chẽ với nhau để nâng cao AMBA CHI nhằm hỗ trợ các bộ tăng tốc hoàn toàn mạch lạc và an toàn với các bộ xử lý được kết nối với nhau khác. NVIDIA NVLink-C2C được xây dựng dựa trên công nghệ thiết kế SERDES và LINK đẳng cấp nhất của NVIDIA, đồng thời có thể mở rộng từ tích hợp cấp PCB và mô-đun đa chip đến kết nối cấp độ wafer và bộ chuyển đổi silicon, cung cấp băng thông cực cao đồng thời tối ưu hóa năng lượng và diện tích của các Die Silicon.

2.1. Một số tính năng chính của công nghệ NVLink-C2C bao gồm:

• Băng thông cao: Hỗ trợ truyền dữ liệu kết hợp băng thông cao giữa bộ xử lý và máy gia tốc
• Độ trễ thấp: Hỗ trợ truyền dữ liệu nguyên tử giữa bộ xử lý và máy gia tốc để thực hiện đồng bộ hóa nhanh và cập nhật tần số cao cho dữ liệu được chia sẻ
• Tiêu thụ điện năng thấp và mật độ cao: Sử dụng thiết kế tiên tiến, nó tiết kiệm năng lượng hơn 25 lần và tiết kiệm diện tích hơn 90 lần so với PCIe Gen 5 trên chip NVIDIA
• Hỗ trợ tiêu chuẩn ngành: Hoạt động với các giao thức tiêu chuẩn AMBA CHI hoặc CXL của ARM để có khả năng tương tác giữa các thiết bị

3. Các sản phẩm của hãng NVIDIA sử dụng công nghệ NVLink C2C

• NVIDIA GB200 NVL72: Để tạo ra một NVIDIA GB200 Superchip cần sự kết hợp giữa 02 Blackwell GPUs và 01 NVIDIA Grace™ CPU, 03 thành phần này kết nối với nhau thông qua NVLink-C2C, và tiếp tục sử dụng công nghệ NVLink-C2C để kết nối 36 NVIDIA GB200 Superchip để tạo ra tủ rack GB200 NVL72, tạo ra một siêu GPU Logic với  72-GPU vật lý.
• NVIDIA Grace Hopper Superchip: The NVIDIA GH200 Grace Hopper™ Superchip sử dụng công nghệ NVIDIA NVLink-C2C để kết nối Grace CPU và Hopper GPU với mô hình sử dụng chung đồng thời bộ nhớ một cách nhất quán (Coherent memory model), tức là mô hình này cho phép các CPU và GPU sử dụng chung RAM đang được quản lý bởi Grace CPU, việc này cho phép tăng tốc các ứng dụng AI và các ứng dụng high-performance computing (HPC).
• NVIDIA Grace CPU Superchip: Trong Siêu chíp NVIDIA Grace CPU Superchip, hãng NVIDIA sử dụng công nghệ NVLink-C2C cho việc liên kết 144 lõi (144 Cores) với tốc độ truy nhập bộ nhớ lên đến 1 TB/s cho các ứng dụng cloud và tính toán hiệu năng cao (high-performance computing).

4. CNTTShop - Đơn vị hàng đầu tư vấn giải pháp NVIDIA, HPE và AI

Công nghệ NVIDIA NVLink-C2C mở ra một kỷ nguyên mới cho việc kết nối giữa các Die-to-Die and Chip-to-Chip với tốc độ siêu cao và tiết kiệm năng lượng rất hiệu quả, nó cho phép tùy biến cao trong việc kết hợp các Chíp cũng như các thành phần chính trong việc tính toán hiệu năng cao như CPU, GPU, DPU, NIC và SOC nó giúp ghép các GPU vật lý riêng rẽ thành một GPU Logic với số lượng GPU vật lý lên đến 576 GPU, cũng như giúp liên kết các CPU vật lý riêng thành CPU Logic với số lượng CPU vật lý 288 CPU. Điều này mở ra một kỷ nguyên mới cho việc tính toán hiệu năng cao với các ứng dụng AI Tạo Sinh, Bigdata, mộ hình ngôn ngữ lớn LLM, mô hình suy luận siêu nhanh thời gian thực với hàng ngàn tỷ các tham số (Real-Time Trillion-Parameter Models).

Die-To-Die: Die trong chế tạo bán dẫn, chế tạo chíp bán dẫn chính là các khuôn Silicon Die (mảnh siêu nhỏ thường được tính bằng nano mét) trên đó được định nghĩa và chế tạo ra một mạch chức năng nào đó thông qua công nghệ quang khắc (Photolithography). Die-To-Die có ý nghĩa là trong một chíp sẽ có rất nhiều mạch chức năng (các Silicon Die) các Die này được liên kết, kết nối với nhau thông qua một giao diện, trong một Chíp hoàn chỉnh sẽ bao gồm rất nhiều Silicon Die được kết nối với nhau.

Công ty Việt Thái Dương - CNTTShop hiện là nhà cung cấp các giải pháp hạ tầng CNTT, Điện toán Hiệu năng cao (HPC) cho AI với nhiều năm kinh nghiệm tư vấn và kinh doanh. Chúng tôi luôn là đối tác tin cậy để các bạn lựa chọn cho việc tư vấn và tích hợp các giải pháp và sản phẩm chính hãng NVIDIA.