スペックカード SPEC CARD
NVIDIA H200 SXM
H100と同じソケットのメモリ増強版——消費電力クラスは700Wのまま、メモリは141GB HBM3e/4.8TB/sに倍増し、LLM推論スループットは約2倍。HGX H200 8基システムは推論クラスターの新たな主力。2026年の対中輸出規制緩和後に供給が拡大し、大容量メモリ現物市場で最も流通する一枚
概要
NVIDIA H200 SXMはHopperアーキテクチャベースのデータセンター向けGPUで、H100と同じソケットのメモリ増強版という位置づけだ。最大の変化は1基あたりのメモリが141GB HBM3eに引き上げられたことで、NVIDIAはこれを同容量HBM3e搭載としては世界初のGPUとしている。消費電力クラスをH100と同一に保ちながら、公式データではLLM推論スループットが約2倍に達する。計算性能面ではFP64、FP32および各種Tensor Core精度に対応し、FP8演算性能は4 petaFLOPS(スパース加速込み)。フォームファクタはSXMで、NVLinkによる900GB/sの相互接続でHGX H200の4基または8基システムを構成でき、LLMの推論・学習、HPC、動画デコード負荷に広く使われ、大容量メモリ推論クラスターの主流な選択肢となっている
主要スペック
| アーキテクチャ | NVIDIA Hopper(GH100コア、TSMC 4Nカスタムプロセス、800億トランジスタ、814mm²、H100 SXMと同一のGH100) |
| メモリ | 141GB HBM3e(6144bitバス/6.3Gbps ピン速度、141GB HBM3e単体搭載としては世界初と公式発表) |
| メモリタイプ | HBM3e |
| メモリバス幅 | 6144bit |
| メモリ帯域幅 | 4.8TB/s |
| 演算性能 | FP8 Tensor Core 3,958 TFLOPS(スパース込み、デンス1,979);FP16/BF16 TC 1,979*;TF32 TC 989*;INT8 TC 3,958 TOPS*;FP64 TC 67;FP32 67;FP64 34(SXM仕様、*=With sparsity) |
| 消費電力 | SXM最大700W(設定可能);同じソケットのH100 SXMも同じ700Wクラス |
| インターコネクト | NVLink 900GB/s+PCIe Gen5 128GB/s;NVSwitch経由でHGX H200 4/8基のフルメッシュ接続(8基のFP8合計で32 PFLOPS超、メモリ合計1.1TB) |
| 発売年 | 2024 |
| SMとCUDAコア | 132 SM / 16,896 FP32 CUDAコア |
| ブーストクロック | 1,980MHz |
| L2キャッシュ | 50MB |
| MIGスライス | 最大7インスタンス@18GB(1インスタンス18GBで、H200 NVLの16.5GBやH100の10GBを上回る) |
| コーデック | 7 NVDEC + 7 JPEG |
| コンフィデンシャルコンピューティング | Confidential Computing Supported |
| フォームファクター | SXMモジュール(液冷/空冷はシステム構成により決定、HGX H200 4基または8基と組み合わせ;AI Enterpriseはアドオンとして別購入) |
スペックは公式資料に基づき検証済み(
公式ベンチマーク、2026-10-10 更新)· 実際の価格は出品者の提示価格によります
適用シーン
- LLM推論サービス:141GBのメモリにより、より大きなモデルやより長いコンテキストを搭載可能。公式スペックでは推論スループットが前世代の約2倍で、本番級のLLM APIやバッチ推論の担い手に適する
- 大規模モデルの学習とファインチューニング:NVLink 900GB/sの相互接続でHGX H200 4基または8基システムを構築でき、8基のFP8合計演算性能は32 petaFLOPS超。大パラメータモデルの学習やパラメータ効率の高いファインチューニングを支える
- マルチインスタンス推論とGPU分割:MIGにより最大7インスタンス(1インスタンス18GB)に分割でき、クラウド事業者が同一物理カード上で複数テナントに分離された推論リソースを提供するのに適する
- 動画・画像処理パイプライン:NVDECデコーダー7基とJPEGエンジン7基を搭載し、LLM推論と並行して大規模な動画トランスコードや画像デコード処理を担える
同族モデル
| 型番 | メモリ | 消費電力 |
|---|
| NVIDIA T4 比較 | 16GB GDDR6 with ECC(デフォルト有効) | 70W(基板全体の消費電力、デフォルト) |
| NVIDIA A100 比較 | 40GB HBM2/80GB HBM2e の2バージョン(80GB版は2020-11-16 SC20で追加発表)、ECC搭載 | SXM4 400W(40GB/80GB共通);PCIe版は40GBが250W/80GBが300W |
| NVIDIA H20 比較 | 96GB HBM3(Flopper/VipraTech/騰訊ニュースの3ソースで一致) | TDP 400W(Flopper/VipraTechスペック表/騰訊ニュースの『熱設計電力400W』で3ソース一致;VipraTech本文には350Wという矛盾する記載があるため不採用) |
| NVIDIA GB300 比較 | 288GB HBM3e(1 GPUパッケージあたり;スーパーチップで576GB;HGX基板レベルで2.1TB/ラックで20TBという表記が併存) | TGP 最大 1400W |
| NVIDIA A30 比較 | 24 GB HBM2 | 165 W |
| NVIDIA GeForce RTX 4090 比較 | 24GB GDDR6X | 450W TGP(平均ゲーム時315W、推奨システム電源850W) |
動画解説 VIDEO
調達・検品のポイント
- 機室の電力・冷却確認:H200 SXMはSXMフォームファクタで最大TDPは700Wかつ設定可能。システム全体(HGX H200 4基または8基)の電源冗長性と液冷/空冷方式の適合を確認し、H100基準で概算してマージン不足にならないようにすること
- メモリと相互接続の検品:納品がSXM版でありH200 NVLでないことを確認する(両者は消費電力クラス・フォームファクタ・相互接続方式が異なる)。SXM版は基板レベルのNVLinkに依存し、単体ではHGXベースボードなしで使用できないため、システム一式の購入時にはNVLink 900GB/s接続構成を確認すること
- ソフトウェアとコンプライアンス対応:システムベンダーやクラウド事業者の供給経路とロットを確認し、NVIDIA AI Enterprise追加ライセンスの要否を評価する。輸出規制に関わる調達では準拠すべき区分を確認するとともに、このカードはConfidential Computingに対応するため、セキュリティ分離の要件がある場合は検収時に検証すること
よくある質問
H200とH100の違いは?
H200はH100のメモリ増強版だ。メモリがH100の容量から141GB HBM3eに増強され、消費電力クラスは変わらない(最大700W、設定可能)。公式スペックでは、H200のLLM推論スループットはH100の約2倍。両者ともHopperアーキテクチャで、計算性能とソフトウェアエコシステムは高い互換性を持つ
H200 SXMとH200 NVLはどちらを選ぶべき?
両者ともメモリは141GBだが、違いは明確だ。SXMはベースボード統合型で、NVLinkによる900GB/s接続に依存し、最大TDPは700W。HGXシステム一式や高密度クラスターに向く。NVLはPCIeの2スロット空冷カードで、最大TDPは600W、NVLinkブリッジで2ウェイまたは4ウェイ接続となり、演算性能クラスも低め。自社で高密度推論クラスターを組むなら一般にSXM一式を選び、既存のPCIeサーバーや省スペース環境ではNVLが選択肢になる
H200のメモリでどれくらいのモデルが動く?
1枚あたり141GBのメモリで、主要なオープンソース大規模モデルの多くを推論用に丸ごとロードできるほか、より長いコンテキストウィンドウも扱える。NVLinkでHGX H200 8基システムを組めばメモリ合計は1.1TBに達し、数千億パラメータ級モデルの推論・学習に対応する。実際にデプロイ可能な規模は、モデルの量子化精度、KV Cache長、フレームワークの実装にも左右される
資料更新 2026-10-10 · 深掘り項目は
編集ポリシー 手順