AIXX Pedia › Technisches Konzept › Scale-up und Scale-out
Scale-up (vertikale Skalierung) und Scale-out (horizontale Skalierung) sind die beiden Interconnect-Ebenen eines KI-Clusters: Scale-up bezeichnet die „Erweiterung innerhalb des Racks“ – GPUs sind über NVLink/NVSwitch hochgradig all-to-all verbunden und bilden eine Domäne (das 72-GPU-Einzeldomäne-Konzept des GB200 NVL72); Scale-out bezeichnet die „Erweiterung über Racks hinweg“ – mehrere Racks werden über InfiniBand oder Ethernet zu einem größeren Cluster verbunden.
Einordnung für Einkäufer: Scale-up bestimmt, „wie schnell die Kommunikation im Rack ist“ (hohe Bandbreite innerhalb der NVLink-Domäne, aber begrenzte Skalierung); Scale-out bestimmt, „wie schnell die Kommunikation zwischen Racks ist“ (geringere Bandbreite bei InfiniBand/Ethernet, aber praktisch unbegrenzte Skalierung). Der Durchsatz-Engpass beim Training großer Modelle liegt meist auf der Scale-out-Ebene – das Fabric-Design (Topologie/Routing/Congestion Control) ist eine Kernkompetenz des Integrators.
| Position | Wert / Definition |
|---|---|
| Scale-up-Interconnect | NVLink / NVSwitch (im Rack) |
| Scale-out-Interconnect | InfiniBand / RoCE-Ethernet (über Rack-Grenzen hinweg) |
| Scale-up-Bandbreite | 130 TB/s innerhalb der GB200-NVL72-Domäne |
| Scale-out-Bandbreite | 800 G pro ConnectX-8-Karte |
Bei der B300-Serie läuft Scale-up über NVLink 5 (1,8 TB/s pro Karte, all-to-all in der Domäne), Scale-out über ConnectX-8 (800 G, Fabric über Maschinen hinweg) – beim Kauf von Komplettsystemen müssen beide Ebenen geplant werden: Die Größe der NVLink-Domäne im Rack bestimmt, „wie viele Karten sich wie eine Karte verhalten“, das Design des Cross-Rack-Fabrics bestimmt die Skalierungseffizienz des Clusters.