HBM(High Bandwidth Memory)は、DRAMダイを垂直に積層し、GPUと超短距離で接続するメモリ形態。HBM3eはその最新の商用世代にあたる。解決する課題は一つ:大規模モデル時代において、演算コアにデータを供給する速度がボトルネックになってはならないということだ。
AIサーバーにとって、メモリ容量は「どれだけ大きなモデルを載せられるか」を直接左右する——それゆえB300世代で最も目を引くスペックが、1基あたり288GBという数字だ。
| 項目 | 数値 / 基準 |
|---|---|
| 1基あたり容量(B300) | 288GB HBM3e |
| 8基合計(NVL8) | 約2.3TB |
| 前世代H100との比較 | 80GB(HBM3) |
| H200との比較 | 141GB(HBM3e) |
モデルのメモリ使用量を見積もるには、シンプルで実用的な公式がある:FP8の重み ≈ パラメータ数 × 1バイト。DeepSeek R1 フル版は671Bパラメータで、FP8の重みは約690GB——1基では収まらないが、B300 NVL8なら2.3TBの総メモリでフル構成を1台でデプロイでき、余裕も十分だ。
メモリは価格の分水嶺でもある:同一シリーズでもメモリ構成の違い(3TBモデルと4TBモデルなど)により、価格差が百万円級に達することがある。