NVSwitch là gì, ứng dụng của nó trong hệ thống máy chủ NVIDIA

Trong bối cảnh các công ty về AI hàng đầu thế giới đang cạnh tranh nhau rất quyết liệt - nơi các mô hình suy luận AI ngày càng mở rộng quy mô với hàng trăm nghìn GPU hoạt động đồng thời, việc đảm bảo tốc độ trao đổi dữ liệu giữa các bộ xử lý đồ họa trở thành một thách thức lớn. Điển hình như Grok 3, một trong những mô hình mới và tiên tiến bậc nhất hiện nay, được đào tạo trên hơn 200.000 GPU NVIDIA H100, đòi hỏi một hạ tầng kết nối tốc độ cực cao để đồng bộ và truyền tải dữ liệu hiệu quả giữa các GPU này. Đây chính là lý do NVSwitch NVIDIA ra đời và thực hiện sứ mệnh của mình.

NVSwitch là gì?

NVSwitch là chip chuyển mạch có tốc độ xử lý rất cao do NVIDIA phát triển, giúp kết nối trực tiếp nhiều GPU trong một máy chủ hoặc giữa các cụm máy chủ với nhau, tạo nên hạ tầng tính toán mạnh mẽ cho trí tuệ nhân tạo (AI) và siêu máy tính. Công nghệ này cho phép mở rộng cụm GPU lên đến 576 đơn vị, phá vỡ giới hạn băng thông truyền thống và tối ưu hiệu suất xử lý dữ liệu.

Hình ảnh trực quan NVSwitch tích hợp trên GPU NVIDIA

Một trong những điểm nổi bật của NVSwitch là tốc độ kết nối giữa các GPU cực kỳ ấn tượng, đạt 1,800GB/s, giúp giảm thiểu độ trễ và cải thiện đáng kể khả năng giao tiếp giữa các bộ xử lý đồ họa. Tổng băng thông mà NVSwitch có thể đạt được lên đến 1 petabyte mỗi giây (1PB/s), đưa nó trở thành một trong những giải pháp liên kết GPU mạnh mẽ nhất hiện nay.

Với NVIDIA NVSwitch, những hệ thống AI khổng lồ không còn bị giới hạn bởi khả năng giao tiếp giữa các GPU, mở ra cơ hội phát triển các mô hình ngày càng phức tạp và mạnh mẽ, từ nghiên cứu khoa học, mô phỏng vật lý đến các ứng dụng AI quy mô lớn, tạo nên một trang sử mới cho công nghệ tính toán song song.

So sánh NVSwitch với NVLink

NVSwitch và NVLink đều là giải pháp kết nối tốc độ cao do NVIDIA phát triển, nhằm tối ưu hóa quá trình truyền dữ liệu giữa các GPU, CPU trong các hệ thống AI, HPC và trung tâm dữ liệu. Tuy nhiên, chúng có mục đích sử dụng và đặc điểm kỹ thuật khác nhau.

Sự khác biệt giữa NVLink và NVSwitch

NVLink là một công nghệ sử dụng kết nối point-to-point giữa các cặp GPU-CPU hoặc GPU-GPU với tốc độ nhanh hơn từ 5-12 lần so với kết nối PCIe truyền thống. Trong khi đó, NVSwitch là một chip chuyển mạch vật lý, có thể kết nối số lượng lớn GPU trong một máy chủ hoặc giữa các cụm máy chủ với nhau thông qua liên kết NVLink, nó cung cấp giải pháp để xây dựng các cụm GPU quy mô lớn. Tùy theo từng yêu cầu tính toán cụ thể, các nhà thiết kế hệ thống có thể cấu hình linh hoạt các kết nối GPU-to-GPU để đạt được múc đích sử dụng.

Tính năng chính của NVSwitch

NVSwitch là giải pháp cốt lõi trong các dòng GPU hàng đầu hiện nay của NIVIDIA như: H100, H200, A100…, mang lại hiệu suất tối đa trong những mô hình xử lý AI yêu cầu giao tiếp nhanh giữa nhiều GPU. Dưới đây là 6 tính năng chính của NVSwitch:

• Mở rộng quy mô dễ dàng: NVSwitch hỗ trợ kết nối số lượng lớn GPU, tạo ra các hệ thống xử lý dữ liệu mạnh mẽ với khả năng tính toán song song vượt trội. Hiện tại, chip chuyển mạch NVSwitch mới nhất có khả năng kết nối tối đa 576 GPU (gấp nhiều lần các thế hệ cũ).
• Tốc độ kết nối cực nhanh: Với tốc độ truyền dữ liệu từ GPU tới GPU lên đến 1,800GB/s, NVSwitch tối ưu hóa luồng giao tiếp giữa nhiều GPU thông qua các liên kết NVLink để đảm bảo chúng trao đổi dữ liệu với nhau một cách nhanh nhất.
• Băng thông vượt trội: Cung cấp băng thông tổng hợp cực lớn (tối đa lên đến 1PB/s) để nhiều GPU có thể truyền dữ liệu đồng thời, tối ưu hóa hiệu suất tổng thể của hệ thống.
• Độ trễ tối thiểu: Thiết kế chuyên biệt giúp GPU trao đổi dữ liệu trực tiếp với nhau mà không cần thông qua CPU và các lần chuyển tiếp trung gian, đảm bảo dữ liệu luân chuyển giữa các GPU với tốc độ cao mà không bị gián đoạn.
• Linh hoạt trong cấu hình: Hỗ trợ cấu hình tùy chỉnh giúp người dùng xây dựng hệ thống phù hợp theo nhu cầu tính toán cụ thể.
• Giảm mức tiêu thụ điện năng: Việc tăng tốc độ tính toán giúp các tác vụ tiêu thụ ít năng lượng hơn và giảm thiểu tổng mức tiêu thụ điện năng của toàn bộ hệ thống máy chủ.

Các thế hệ NVSwitch

NVSwitch đã trải qua nhiều thế hệ nâng cấp, không ngừng cải thiện khả năng kết nối giữa các GPU nhằm đáp ứng nhu cầu tính toán ngày càng cao trong những hệ thống AI, HPC và trung tâm dữ liệu hiện đại nhất.

• Thế hệ đầu tiên ra mắt cùng với kiến trúc NVIDIA Volta™, hỗ trợ tối đa 8 GPU, cung cấp băng thông 300GB/s giữa các GPU và tổng băng thông 2.4TB/s.
• Thế hệ thứ hai cải tiến với kiến trúc NVIDIA Ampere, giữ nguyên số lượng GPU tối đa nhưng nâng băng thông GPU-to-GPU lên 600GB/s, giúp hệ thống truyền tải dữ liệu nhanh hơn gấp đôi, đồng thời mở rộng tổng băng thông lên 4.8TB/s.
• Thế hệ thứ ba sử dụng kiến trúc NVIDIA Hopper™, tiếp tục đẩy giới hạn với băng thông 900GB/s giữa các GPU và tổng băng thông hệ thống đạt 7.2TB/s, mang lại hiệu suất tối ưu hơn cho các hệ thống tính toán song song.

Bước đột phá thực sự ở đây phải kể đến thế hệ mới nhất - NVLink Switch, được thiết kế cho kiến trúc NVIDIA Blackwell. Không chỉ tăng số lượng GPU kết nối đồng thời lên tới 72 lần, NVLink Switch còn nâng băng thông GPU-to-GPU lên gấp 6 lần, tổng băng thông toàn hệ thống gấp hơn 416 lần thế hệ đầu tiên, một con số phi thường giúp loại bỏ các nút nghẽn cổ chai trong truyền tải dữ liệu, đưa hiệu suất điện toán lên một tầm cao mới.

Với những cải tiến vượt trội này, thế hệ NVSwitch mới nhất không chỉ giúp tăng tốc độ giao tiếp giữa GPU mà còn mở ra khả năng xây dựng các hệ thống siêu máy tính AI mạnh mẽ nhất thế giới, đáp ứng nhu cầu ngày càng lớn của mô hình trí tuệ nhân tạo thế hệ tiếp theo.

Kiến trúc của NVSwitch

Từ năm 2018 đến 2024, NVIDIA đã liên tục cải tiến kiến trúc NVSwitch, nâng cao số lượng cổng NVLink và khả năng kết nối giữa các thành phần trong hệ thống để phù hợp với từng dòng sản phẩm mới. Trong kiến trúc NVSwitch, bất kỳ một cặp GPU nào cũng có thể kết nối trực tiếp với nhau và sử dụng toàn bộ băng thông song hướng để giao tiếp. Crossbar switch (XBAR) trong NVSwitch tạo ra đường dẫn duy nhất từ ​​điểm A đến điểm B để truyền dữ liệu, đảm bảo giao tiếp không chặn và không bị nhiễu, cải thiện hiệu suất truyền dữ liệu tổng thể. Dưới đây là tổng quan về sự phát triển của kiến trúc NVSwitch.

Năm 2018, chip chuyển mạch NVSwitch lần đầu tiên được tích hợp trên hệ thống máy chủ NVIDIA DGX-2, cho phép kết nối hoàn toàn 16 GPU NVIDIA V100 Tensor Core trong một hệ thống duy nhất. Kiến trúc chip NVSwitch khi này gồm có 18 cổng NVLink: 8 cổng kết nối trực tiếp với GPU, 8 cổng còn lại liên kết với chip NVSwitch khác trên một bo mạch chủ khác. Một bo mạch chủ tiêu chuẩn chứa sáu NVSwitch để giao tiếp với bo mạch chủ khác. Băng thông đơn hướng trên mỗi liên kết NVLink là 25GB/s, số liên kết tối đa trên mỗi GPU là 6 nên tổng băng thông kết nối song hướng giữa 2 GPU là 300GB/s.

Năm 2020, NVSwitch thế hệ thứ hai được tích hợp trên hệ thống máy chủ DGX A100. Kiến trúc hệ thống lúc này có 6 chip NVSwitch, mỗi GPU A100 được kết nối thông qua 12 liên kết NVLink với 6 chip NVSwitch. Băng thông đơn hướng trên mỗi liên kết NVLink vẫn là 25GB/s, số liên kết tối đa trên mỗi GPU tăng lên 12 nên tổng băng thông kết nối song hướng giữa 2 GPU là 600GB/s.

Năm 2022, NVSwitch thế hệ thứ ba được trang bị trên GPU H100 Tensor Core, băng thông đơn hướng trên mỗi liên kết NVLink vẫn không thay đổi là 25GB/s, nhưng số liên kết tối đa trên mỗi GPU đã lên đến 18 nên tổng băng thông kết nối song hướng giữa 2 GPU là 900GB/s. Mỗi GPU được kết nối với 4 NVSwitch theo kiến trúc như trong hình bên dưới.

Năm 2024, NVSwitch thế hệ mới nhất với tên gọi NVLink Switch được tích hợp trên GPU B200 - một trong những GPU mạnh mẽ nhất hiện nay của NVIDIA. Băng thông đơn hướng trên mỗi liên kết NVLink tăng gấp đôi lên 50GB/s, số liên kết tối đa trên mỗi GPU là 18 nên tổng băng thông kết nối song hướng giữa 2 GPU là 1,800GB/s. Mỗi chip NVSwitch có 72 cổng NVLink, mỗi GPU sử dụng 9 kết nối NVLink với hai chip NVSwitch.

Ứng dụng của NVSwitch trong hệ thống máy chủ NVIDIA

Với khả năng kết nối một số lượng cực nhiều GPU ở tốc độ cao để tạo nên các cụm GPU quy mô lớn, đáp ứng mô hình suy luận AI hoặc các hệ thống điện toán tiên tiến nhất, NVSwitch chiếm một vị trí quan trọng, không thể thiếu trong hệ thống máy chủ NVIDIA.

Các sản phẩm mới nhất hiện nay của NVIDIA như máy chủ GB200 NVL72, GB200 NVL2, DGX B200… đều sử dụng chip NVSwitch để khai thác tối đa sức mạnh của các GPU, gia tăng khả năng tính toán và suy luận AI hàng nghìn tỷ tham số.

Như vậy, chúng ta vừa cùng nhau tìm hiểu về khái niệm “NVSwitch là gì” cũng như các đặc điểm, tính năng hay ứng dụng của nó. Nếu như bạn đọc có nhu cầu cần tư vấn sản phẩm NVIDIA để xây dựng giải pháp mạng cho trung tâm dữ liệu, siêu máy tính, AI và Cloud, có thể liên hệ với CNTTShop nhé, các chuyên gia giàu kinh nghiệm của chúng tôi luôn sẵn sàng hỗ trợ bạn bất cứ lúc nào.