AIXX 백과사전 › 기술 개념 › NVSwitch 스위치 칩
NVSwitch는 NVIDIA의 NVLink 스위치 칩으로, 여러 GPU의 NVLink 링크를 스위치 칩에 모아 '누구나 누구와도 직통'하는 올투올(All-to-All) 매트릭스를 점점 더 크게 확장할 수 있게 한다. 2018년 DGX-2 시스템과 함께 첫 선을 보이며 V100 16개를 하나의 NVLink 도메인으로 묶었다(NVIDIA 개발자 블로그 「NVSwitch Accelerates NVIDIA DGX-2」). 5세대(Blackwell 세대)에 이르러서는 단일 NVLink 도메인을 GPU 72개까지 확장할 수 있고, 도메인 내 NVLink 스위치 합계 대역폭은 130TB/s에 달한다(NVIDIA NVLink 공식 페이지 및 GB200 NVL72 공식 페이지).
AI 컴퓨팅 랙에서의 역할: 8카드 시스템(HGX/DGX NVL8)은 베이스보드에 NVSwitch가 실장되어 8개 GPU를 올투올 도메인으로 연결한다. GB200/GB300 NVL72 같은 풀랙 솔루션은 독립된 NVLink 스위치 트레이를 사용하는데, 컴퓨트 트레이 18개에 스위치 트레이 9개, 총 18개의 NVSwitch 칩이 들어간다. 「NVL8 / NVL72」의 NV는 바로 이러한 NVSwitch 올투올 구성을 가리킨다.
| 항목 | 수치 / 기준 |
|---|---|
| 역할 | NVLink 도메인 내 올투올을 위한 집선 스위치 칩 |
| 5세대 단일 GPU NVLink | 1800GB/s (NVIDIA NVLink 공식 페이지) |
| NVLink5 스위치 도메인 | GPU 8개 또는 72개 · NVL72 도메인 내 합계 130TB/s (NVIDIA 공식 페이지) |
| 이전 세대(NVLink4) 비교 | GPU당 900GB/s · 도메인 내 8개 · 스위치 합계 7.2TB/s |
B300 8카드 시스템의 상호연결은 전적으로 베이스보드의 NVSwitch에 의존한다. DGX B300 공식 스펙 기준 NVLink 합계 14.4TB/s로, 카드 8개 각각의 1800GB/s를 합산한 값이다(NVIDIA DGX B300 공식 페이지). 대형 모델 학습의 텐서 병렬화는 하나의 모델을 여러 카드에 분할하기 때문에 카드 간 통신량이 어마어마하며, NVSwitch 도메인 내에서 대역폭 손실이 없어야 8개 카드가 마치 한 개처럼 협동할 수 있다.
구매자 관점: NVSwitch는 베이스보드에 있고 카드도 베이스보드에 납땜되어 있으므로, 검수 시 카드만 보아서는 안 되며 NVLink 도메인 전체를 실측(포인트투포인트 대역폭과 all-reduce 집합 통신 스트레스 테스트)해야 한다. 베이스보드와 스위치 칩의 수리 이력은 검수 보고서로만 추적할 수 있다. 풀랙 단위(NVL72 형태) 구매자는 스위치 트레이 9개 역시 수랭 방식이라는 점도 유의해, 데이터센터 인프라 조건까지 함께 협의해야 한다.