AIXX 백과사전 › 기술 개념 › NVLink 인터커넥트
NVLink는 NVIDIA의 독점 GPU 직결 인터커넥트 버스로, 여러 GPU가 PCIe를 훨씬 뛰어넘는 대역폭으로 직접 통신할 수 있게 해줍니다. 5세대 카드당 대역폭은 1.8TB/s입니다.
이와 함께 쓰이는 NVSwitch는 여러 GPU를 전체 상호연결 매트릭스로 묶습니다. 「NVL8 / NVL72」의 NV가 바로 여기서 나온 것으로, All-to-All 풀 인터커넥트 형태를 뜻합니다.
| 항목 | 수치 / 기준 |
|---|---|
| 세대 | 5세대 NVLink |
| 단일 카드 대역폭 | 1.8TB/s |
| 대표 형태 | NVL8(8베이스보드) · NVL72(72카드 풀시스템) |
| 외부 네트워크 구성 | ConnectX-8 + Quantum-800 / Spectrum-X(800G) |
대규모 모델의 텐서 병렬 처리는 하나의 모델을 여러 카드에 나눠 올리기 때문에 카드 간 통신량이 막대합니다. NVLink는 여덟 장의 GPU가 한 장처럼 협업하게 만들어 줍니다.
8카드 시스템에는 800G 외부 네트워크 구성도 필요합니다. 네트워크가 제대로 갖춰지지 않으면 여덟 장의 GPU는 여덟 개의 고립된 섬에 불과합니다.