AIXX 百科 › 技術コンセプト › 推論スループットベンチマーク
推論スループットベンチマーク(Inference Benchmark)は、GPUの推論性能を評価するための中心的なテストです。「標準ソフトを動かしてスコアを見る」のではなく、「対象業務で実際に使うモデル・実際の精度・実際のバッチサイズで、対象GPU上のスループットとレイテンシを測定する」ことが要点で、ベンチマークの価値は「実態に近いこと」にあり、「数字の良さ」にはありません。
主要指標:スループット(tokens/s、1秒あたりの生成トークン数)はサービス容量を決めます。レイテンシ(TTFT:初トークンまでの遅延/ITL:トークンごとの遅延)はユーザー体験を決めます。同時実行数はサービス提供能力を決めます。調達担当者が使うべき選定基準は「対象モデル+対象精度+対象バッチサイズ」の組み合わせによる実測であり、ベンダーが公表する汎用ベンチマークスコアではありません。
| 項目 | 数値 / 基準 |
|---|---|
| スループット | tokens/s(1秒あたりの生成トークン数) |
| TTFT | 初トークン遅延(ユーザー体感の核心) |
| ITL | トークンごとの遅延(滑らかさの指標) |
| 合格ライン | 公開ベンチマークの80%以上(判例フレームワーク基準) |
B300のFP4推論スループットベンチマーク——調達担当者は自社業務の実際のモデル+実際の精度+実際のバッチサイズでB300上にベンチマークを実行すべきです。ベンダーのデモ数値は調達判断の根拠にできません。推奨ベンチマークツール:vLLM benchmark_serving / TensorRT-LLM benchmark / MLPerf Inference。