AIXX 百科 › 技術コンセプト › vLLM 推論エンジン
vLLM は現在最も人気の高いオープンソース大規模モデル推論エンジンです。中核となるイノベーションは PagedAttention(KV Cache を OS の仮想メモリのようにページ管理する仕組み)で、GPU メモリの利用効率と同時実行スループットを大幅に向上させます。Continuous Batching(動的バッチ処理)、テンソル並列、量子化推論(GPTQ/AWQ/FP8)に対応しており、vLLM の登場により「推論フレームワークの選定」は NVIDIA 専有(TensorRT-LLM)の時代からオープンソースの複数候補へと変わりました。
調達担当者にとっての意義:vLLM のパフォーマンスは GPU 選定に直結します。同じカードでも vLLM のバージョンや設定次第でスループットが 2 倍変わることがあります。調達前に、対象モデル+対象 vLLM バージョンでベンチマークを取ることは選定の必須ステップです。vLLM は CUDA(NVIDIA)と ROCm(AMD)の両方に対応しており、陣営を跨ぐ選定において共通の推論スタック基盤となります。
| 項目 | 数値 / 基準 |
|---|---|
| 中核イノベーション | PagedAttention(KV Cache のページ管理) |
| 対応ハードウェア | NVIDIA CUDA + AMD ROCm |
| 同時実行能力 | Continuous Batching(動的バッチ処理) |
| オープンソース | Apache 2.0 |
vLLM の B300 対応は CUDA/Blackwell エコシステムの成熟とともに進んでいます。FP8/FP4 量子化の推論パスには最新版の vLLM とモデル側の対応が必要です。調達前に対象モデル+vLLM 最新版でベンチマーク(スループット/レイテンシ/同時実行数)を実施し、ベンチマークデータを選定の確かな判断材料にしましょう。