SECTIONS
EDITIONS
NETWORK
AIXXPedia算力分野の百科事典

AIXX 百科 › 技術コンセプト › 推論スループットベンチマーク

推論スループットベンチマーク

INFERENCE BENCHMARK · 技術コンセプト用語

概要OVERVIEW

推論スループットベンチマーク(Inference Benchmark)は、GPUの推論性能を評価するための中心的なテストです。「標準ソフトを動かしてスコアを見る」のではなく、「対象業務で実際に使うモデル・実際の精度・実際のバッチサイズで、対象GPU上のスループットとレイテンシを測定する」ことが要点で、ベンチマークの価値は「実態に近いこと」にあり、「数字の良さ」にはありません。

主要指標:スループット(tokens/s、1秒あたりの生成トークン数)はサービス容量を決めます。レイテンシ(TTFT:初トークンまでの遅延/ITL:トークンごとの遅延)はユーザー体験を決めます。同時実行数はサービス提供能力を決めます。調達担当者が使うべき選定基準は「対象モデル+対象精度+対象バッチサイズ」の組み合わせによる実測であり、ベンダーが公表する汎用ベンチマークスコアではありません。

主要数値KEY NUMBERS

項目数値 / 基準
スループットtokens/s(1秒あたりの生成トークン数)
TTFT初トークン遅延(ユーザー体感の核心)
ITLトークンごとの遅延(滑らかさの指標)
合格ライン公開ベンチマークの80%以上(判例フレームワーク基準)

B300 における意義ON B300

B300のFP4推論スループットベンチマーク——調達担当者は自社業務の実際のモデル+実際の精度+実際のバッチサイズでB300上にベンチマークを実行すべきです。ベンダーのデモ数値は調達判断の根拠にできません。推奨ベンチマークツール:vLLM benchmark_serving / TensorRT-LLM benchmark / MLPerf Inference。

限界と留意点LIMITS

  • ベンチマーク数値の見かけ上の落とし穴:ベンダー公表のスループットは通常「最大理論値」です。実際の業務負荷下でのスループットは、公表値の50〜80%程度にとどまる場合があります(バッチサイズ/コンテキスト長/精度戦略に依存)。
  • ベンチマークツール間の差異:ツールごと(vLLM benchmark / MLPerf / TensorRT-LLM benchmark)に測定手法が異なるため、ツール間比較では条件を統一する必要があります。
  • ベンチマークはPOCの代替にならない:ベンチマーク数値はあくまで出発点です。エンドツーエンドの性能(データパイプライン/前後処理/運用監視を含む)は、実際の業務でのPOC(Proof of Concept)で検証する必要があります。

動画解説VIDEO

HBM3e メモリNVLink インターコネクトSXM / NVL8コールドプレート液冷 / CDUFP8 精度フォーマットMoE 混合エキスパートNVSwitch スイッチチップInfiniBand インターコネクトネットワークNVMe ストレージ液冷CDURDMA リモートダイレクトメモリアクセスGPUDirectTensor Core テンソルコアMIG マルチインスタンス GPUPCIe Gen5コンフィデンシャルコンピューティングvGPU 仮想 GPUFP4 / FP6 マイクロスケーリング浮動小数点精度KV Cache 推論キャッシュScale-up と Scale-outCPO コパッケージオプティクスNVLink FusionMGX モジュラーアーキテクチャモデルの量子化テンソル並列集合通信AI ファクトリー液冷回路PUE エネルギー効率指標TensorRT-LLMvLLM 推論エンジンLoRA 低ランクアダプテーション計算資源サプライチェーンチャネルTCO 総所有コストモデルの蒸留電力サプライチェーンToken 経済学学習データパイプライン推論最適化技術スタックGDDR7 メモリ電源コネクタ系譜(EPS/PCIe 8pin/12VHPWR/12V-2x6)対中輸出規制のタイムラインGPU 検証ガイド(nvidia-smi/GPU-Z)TensorRT 推論最適化CUDA Graphs グラフ実行NCCL 集合通信ライブラリONNX オープンモデルフォーマットHBM 世代系譜混合精度学習PCIe 世代ラックフォームファクター系譜GPU 型番命名規則の読み解き中古 GPU 流通経路空冷と液冷の比較メモリの健全性と故障判読HBM4 メモリUALink インターコネクトB300 機種項目

参考文献REFERENCES

  1. NVIDIA公式サイト — Blackwell Ultra / HGX B300 製品ページ https://www.nvidia.com/en-us/data-center/hgx/
  2. 相場と販売データ:AIXX 取引所(本データベースの相場帯)
バージョンと訂正|本項目は AIXX Pedia 編集部が管理し、AI が下書きし、人手で事実確認を行っています。更新:2026-10-20 · バージョン v1.0 · 変更履歴はすべて追跡可能です。
本ライブラリ
編集ポリシー本ライブラリについて(利益相反の表明)訂正窓口
編集憲法の概要
すべての記述に出典を明記弱点は必ず記載・訂正は公開で記録に残す有料項目は受け付けない項目内への誘導・販売要素は一切なし市況データはデータモジュールとしてのみ掲載
AIXX ファミリー
AIXX 百科AIXX 取引所AIXX ニュース
市況データの出典:AIXX 取引所 · © 2026 AIXX 百科 AIXX Pedia · AIXX 制作