AIXX 百科 › 技術コンセプト › 推論最適化技術スタック
推論最適化技術スタックとは、大規模モデル推論サービスを支える完全な技術体系のことです。下層から順に、ハードウェア層(GPU/インターコネクト/ストレージ)→ コンパイル層(TensorRT-LLM / vLLM / SGLang)→ サービス層(バッチ処理/ルーティング/キャッシュ/モニタリング)→ ビジネス層(ユーザーリクエスト/API ゲートウェイ/課金)で構成されます。各層に最適化の余地があり、「推論最適化」は単一の技術ではなくフルスタックのエンジニアリングです。
主要な最適化技術一覧:PagedAttention(KV Cache のページング)、Continuous Batching(動的バッチ処理)、Speculative Decoding(投機的デコード)、Chunked Prefill(分割プリフィル)、FP8/FP4 量子化、Prefix Caching(プリフィックスキャッシュ)——各技術が独立したスループット/レイテンシの効果を持ち、組み合わせれば効果が積み重なります。
| 項目 | 数値 / 基準 |
|---|---|
| PagedAttention | KV Cache のページング管理(vLLM が初提唱) |
| Continuous Batching | 動的バッチ処理(スループットが数倍向上) |
| Speculative Decoding | 投機的デコード(小モデルが予測+大モデルが検証) |
| Prefix Caching | プリフィックスキャッシュ(prompt を共有し再計算を回避) |
B300 は推論最適化技術スタックを完全にカバーします:FP4/FP8 量子化(ハードウェア層)+ TensorRT-LLM/vLLM コンパイル(コンパイル層)+ In-flight Batching/Prefix Caching(サービス層)——各層が独立した最適化効果を持ち、組み合わせれば効果が積み重なります。選定においては、単発のピーク性能よりも推論スタックの完全性が重要です。