AIXX 百科 › 技術コンセプト › NVSwitch スイッチチップ
NVSwitch は NVIDIA の NVLink スイッチチップ。複数の GPU の NVLink リンクをスイッチチップに集約し、「誰もが誰とでも直結」するオールツーオール(All-to-All)マトリクスをどんどん大規模化できるようにする。2018 年に DGX-2 システムで初登場し、16 基の V100 を 1 つの NVLink ドメインに接続した(NVIDIA デベロッパーブログ「NVSwitch Accelerates NVIDIA DGX-2」)。第 5 世代(Blackwell 搭載)では、単一 NVLink ドメインを最大 72 GPU まで拡張でき、ドメイン内 NVLink スイッチ合計は 130TB/s に達する(NVIDIA NVLink 公式ページおよび GB200 NVL72 公式ページ)。
AI 計算ラック内での役割:8 卡マシン(HGX/DGX NVL8)のベースボードには NVSwitch が実装され、8 基の GPU をフルメッシュドメインとして接続する。GB200/GB300 NVL72 といったラック全体のソリューションでは、独立した NVLink スイッチトレイを使用する——計算トレイ 18 基にスイッチトレイ 9 基、計 18 個の NVSwitch チップ。「NVL8 / NVL72」の NV はこの NVSwitch フルメッシュ構成を指す。
| 項目 | 数値 / 基準 |
|---|---|
| 役割 | NVLink ドメイン内フルメッシュを集約するスイッチチップ |
| 第 5 世代・単一 GPU あたりの NVLink | 1800GB/s(NVIDIA NVLink 公式ページ) |
| NVLink5 スイッチドメイン | 8 または 72 GPU · NVL72 ドメイン内合計 130TB/s(NVIDIA 公式ページ) |
| 前世代(NVLink4)との比較 | 単一 GPU 900GB/s · ドメイン内 8 基 · スイッチ合計 7.2TB/s |
B300 8 卡マシンの相互接続は、すべてベースボード上の NVSwitch に依存している。DGX B300 は公式に NVLink 合計 14.4TB/s を掲げている——すなわち各カード 1800GB/s × 8 枚の合計だ(NVIDIA DGX B300 公式ページ)。大規模モデル学習のテンソル並列は 1 つのモデルを複数のカードに分割し、カード間通信量が膨大になるため、NVSwitch ドメイン内で帯域を落とさないことで、8 枚のカードを 1 枚のように協調動作させられる。
購入者視点:NVSwitch はベースボード上にあり、カードもベースボードに実装されている——検品はカードだけ見ても不十分で、NVLink ドメイン全体(ポイントツーポイント帯域と all-reduce 集合通信のストレステスト)を実機で検証すべきだ。ベースボードやスイッチチップの修理履歴は検品報告書でのみ追跡できる。ラック規模(NVL72 構成)の購入者は、9 基のスイッチトレイも液冷である点に注意し、データセンター側の設備もセットで交渉する必要がある。