AIXX Pedia › Technisches Konzept › NVSwitch-Switch-Chip
NVSwitch ist NVIDIAs NVLink-Switch-Chip: Er bündelt die NVLink-Verbindungen mehrerer GPUs auf einem Switch-Chip und ermöglicht so eine ständig wachsende All-to-All-Full-Mesh-Matrix, in der jede GPU mit jeder direkt verbunden ist. 2018 mit dem DGX-2-System erstmals vorgestellt, verband er 16 V100 zu einer NVLink-Domain (NVIDIA Developer Blog „NVSwitch Accelerates NVIDIA DGX-2“); in der fünften Generation (mit Blackwell) lässt sich eine einzelne NVLink-Domain auf 72 GPUs erweitern, mit insgesamt 130 TB/s NVLink-Switching innerhalb der Domain (offizielle NVIDIA-NVLink-Seite und offizielle GB200-NVL72-Seite).
Rolle im AI-Rechenrack: Auf dem Basisboard von Acht-GPU-Systemen (HGX/DGX NVL8) sind NVSwitch-Chips verlötet, die die acht GPUs zu einer Full-Mesh-Domain verbinden; Komplett-Racklösungen wie GB200/GB300 NVL72 setzen dagegen auf eigene NVLink-Switch-Trays – 18 Compute-Trays plus 9 Switch-Trays mit insgesamt 18 NVSwitch-Chips. Das „NV“ in „NVL8 / NVL72“ steht genau für diese NVSwitch-Full-Mesh-Architektur.
| Position | Wert / Definition |
|---|---|
| Formfaktor | Switch-Chip für Full-Mesh-Verkehr innerhalb einer NVLink-Domain |
| NVLink pro GPU in der fünften Generation | 1800 GB/s (offizielle NVIDIA-NVLink-Seite) |
| NVLink5-Switch-Domain | 8 oder 72 GPUs · zusammen 130 TB/s innerhalb der NVL72-Domain (offizielle NVIDIA-Seite) |
| Vergleich zur Vorgängergeneration (NVLink4) | 900 GB/s pro GPU · 8 GPUs pro Domain · zusammen 7,2 TB/s Switching |
Die Connectivity des B300-Acht-GPU-Systems basiert vollständig auf dem NVSwitch auf dem Basisboard: NVIDIA gibt für das DGX B300 offiziell insgesamt 14,4 TB/s NVLink an – also 8 Karten mit je 1800 GB/s zusammengezählt (offizielle NVIDIA-DGX-B300-Seite). Beim Tensor-Parallelismus im Training großer Modelle wird ein Modell auf mehrere Karten aufgeteilt, was enormen Kommunikationsaufwand zwischen den Karten erzeugt; nur weil innerhalb der NVSwitch-Domain keine Bandbreite verloren geht, können die acht Karten wie eine einzige zusammenarbeiten.
Käuferperspektive: Der NVSwitch sitzt auf dem Basisboard, die Karten sind ebenfalls verlötet – eine Prüfung darf daher nicht bei den Karten enden, sondern muss die NVLink-Domain am Gesamtsystem testen (Punkt-zu-Punkt-Bandbreite und All-Reduce-Kollektivkommunikation als Stresstest); die Reparaturhistorie von Basisboard und Switch-Chips lässt sich nur über den Prüfbericht nachvollziehen. Käufer ganzer Rack-Systeme (NVL72-Formfaktor) sollten zudem beachten, dass auch die 9 Switch-Trays flüssigkeitsgekühlt sind – die Rechenzentrumsausstattung muss gleich mitverhandelt werden.