スペックカード SPEC CARD
NVIDIA H100 NVL
1枚94GB HBM3、2枚をNVLinkブリッジで188GBに。70BクラスLLM推論に特化したカード、350〜400Wの空冷2スロットでハウジングも容易、AI Enterpriseが同梱、中古市場で避けて通れない準フラッグシップ

NVIDIA メーカー公式画像
概要
NVIDIA H100 NVLは、NVIDIAがHopperアーキテクチャベースで投入したPCIeフォームファクタのデータセンターGPUで、大容量メモリを要する推論用途に向けた準フラッグシップモデルとして位置づけられています。1枚あたり94GBのHBM3メモリを搭載し、NVLinkブリッジによって2枚を組み合わせて188GBの統一メモリプールを構成できるため、大パラメータ数の言語モデルの推論ワークロードに適しています。空冷2スロット設計でTDPは一定範囲で設定可能であり、標準的なラック環境への導入が容易です。カード間はNVLinkにより双方向600GB/sのインターコネクト帯域を提供し、PCIe Gen5のホストインターフェースにも対応します。NVIDIA AI Enterpriseソフトウェアスイートが同梱されており、エンタープライズ向けAI推論・デプロイのニーズをカバーします。
主要スペック
| アーキテクチャ | NVIDIA Hopper |
| メモリ | 94GB |
| メモリタイプ | HBM3 |
| メモリ帯域幅 | 3.9TB/s |
| FP64演算性能 | 30 teraFLOPs |
| FP64 Tensor Core | 60 teraFLOPs |
| FP32演算性能 | 60 teraFLOPs |
| FP8演算性能 | 3,341 teraFLOPS |
| FP16演算性能 | 1,671 teraFLOPS |
| INT8演算性能 | 3,341 TOPS |
| 消費電力 TDP | 350-400W (configurable) |
| インターコネクト | NVIDIA NVLink: 600GB/s | PCIe Gen5: 128GB/s |
| フォームファクター | PCIe dual-slot air-cooled |
| MIGスライス | Up to 7 MIGS @ 12GB each |
| コーデック | 7 NVDEC | 7 JPEG |
スペックは公式資料に基づき検証済み(
公式ベンチマーク、2026-10-09更新)· 実際の価格は出品者の提示価格によります
適用シーン
- 大パラメータ数の言語モデル(LLM)推論サービス:2枚をNVLinkブリッジで接続した188GBのメモリにより、モデルウェイト全体を格納しつつKV Cacheの領域も確保可能
- マルチテナントGPUリソースの分割:MIG技術により1枚を最大7インスタンスに分割でき、各インスタンスに12GBのメモリを割り当て。小型モデルの推論や複数業務の分離に適する
- 動画・画像処理パイプライン:複数のNVDECデコーダとJPEGデコードユニットを内蔵し、推論とデコードが混在するビジョンAIワークロードに適する
- エンタープライズAIプラットフォームの構築:同梱のNVIDIA AI Enterpriseによりサポート付きエンタープライズソフトウェアスタックを利用でき、本番環境での推論やファインチューニングに活用可能
同族モデル
| 型番 | メモリ | 消費電力 |
|---|
| NVIDIA T4 比較 | 16GB GDDR6 with ECC(デフォルト有効) | 70W(基板全体の消費電力、デフォルト) |
| NVIDIA A100 比較 | 40GB HBM2/80GB HBM2e の2バージョン(80GB版は2020-11-16 SC20で追加発表)、ECC搭載 | SXM4 400W(40GB/80GB共通);PCIe版は40GBが250W/80GBが300W |
| NVIDIA H20 比較 | 96GB HBM3(Flopper/VipraTech/騰訊ニュースの3ソースで一致) | TDP 400W(Flopper/VipraTechスペック表/騰訊ニュースの『熱設計電力400W』で3ソース一致;VipraTech本文には350Wという矛盾する記載があるため不採用) |
| NVIDIA GB300 比較 | 288GB HBM3e(1 GPUパッケージあたり;スーパーチップで576GB;HGX基板レベルで2.1TB/ラックで20TBという表記が併存) | TGP 最大 1400W |
| NVIDIA A30 比較 | 24 GB HBM2 | 165 W |
| NVIDIA GeForce RTX 4090 比較 | 24GB GDDR6X | 450W TGP(平均ゲーム時315W、推奨システム電源850W) |
動画解説 VIDEO
調達・検品のポイント
- シャーシと電源の互換性確認:H100 NVLはPCIe空冷2スロット formaformで、TDPは一定範囲で設定可能。購入前にサーバーのスロット高さ、エアフロー設計、1枚あたりの給電余裕を確認すること。空冷方式は液冷SXM方式に比べ、データセンターの冷却・騒音管理の要求は低いが、フルロード時には十分な前方吸気風量を確保する必要がある
- NVLinkブリッジ構成の検証:2枚で188GBの大容量メモリ推論を目的とする場合、付属またはセットのNVLinkブリッジが揃っているか、またマザーボード上のカード間隔がブリッジ装着条件を満たすかを確認すること。1枚運用ではブリッジは不要
- 中古・在庫品の検品ポイント:メモリ容量(1枚94GB HBM3)とシリアル番号の照合、NVLinkおよびPCIe Gen5リンクのネゴシエーション状態のテスト、MIGパーティション機能の正常動作確認、NVIDIA AI Enterpriseライセンスの同梱形式と残りサポート期間の確認
よくある質問
H100 NVLと通常のPCIe版H100の違いは?
H100 NVLはPCIeフォームファクタのH100バリエーションで、主な違いはNVLinkブリッジ対応を備えている点です。2枚をブリッジして188GBの統合メモリプールを構成でき、カード間の大容量メモリが必要な推論シーン向けに設計されています。一方、標準PCIe版には通常、出荷時のブリッジソリューションは付属しません。いずれもHopperアーキテクチャベースです。
1枚94GBで大規模モデルは動く? いつ2枚ブリッジが必要?
モデルのパラメータ数と量子化方式によります。1枚のメモリではモデルウェイトにKV Cacheなどの実行時オーバーヘッドを加えた容量が収まらない場合、NVLinkブリッジで2枚のH100 NVLを接続し188GBの統合メモリを確保できます。ブリッジ後のメモリプールはNVLinkの600GB/s帯域で接続され、PCIe Gen5経由のマルチGPU構成よりも通信効率が高くなります。
H100 NVLはレンタルやハウジングに向いている? MIGの用途は?
向いています。標準的なPCIe空冷2スロット設計で、設定可能なTDPにより通常のラックサーバーに導入でき、ハウジングのハードルは比較的低めです。MIG機能により1枚を最大7個の独立インスタンスに物理分割でき、各インスタンスに12GBのメモリが割り当てられ、相互に分離されます。クラウド事業者やチームが1枚を複数テナントや複数の軽量推論タスクに分配するのに適しています。
資料更新 2026-10-09 · 深掘り項目を見る
編集ポリシー 手順