AIXX 百科 › 技術コンセプト › KV Cache 推論キャッシュ
KVキャッシュ(Key-Value Cache)は、大規模モデルの推論過程においてアテンション機構の中間結果を保存するVRAM領域です。トークンを1つ生成するたびに、そのKeyとValueをキャッシュし、以降のトークンのアテンション計算で参照できるようにします。KVキャッシュのサイズはコンテキスト長に比例して増加します。長コンテキスト推論のVRAMボトルネックは、まさにこのKVキャッシュにあります。
KVキャッシュは推論シーンにおけるVRAM容量計画の『見えない杀手』です。7Bモデルの重みは14GB程度に収まるかもしれませんが、長コンテキストのKVキャッシュがさらに数十GBを消費することもあります。VRAM計画でモデルの重みだけを見積もるのは、初心者にありがちなミスです。大容量VRAMカード(H200 NVL 141GB / MI325X 256GB)が長コンテキスト環境で強いのは、KVキャッシュ用の余裕が大きい点にあります。
| 項目 | 数値 / 基準 |
|---|---|
| 増加傾向 | コンテキスト長に比例 |
| ボトルネックが生じるシーン | 長コンテキスト/大バッチ同時処理 |
| 最適化技術 | PagedAttention / MQA / GQA / 量子化 |
| VRAMに占める割合 | モデル重み自体を超えることも |
B300 288GBのVRAM優位性が最も顕著なのは長コンテキスト推論シーンです。KVキャッシュ用の容量は80GBクラスの3倍以上あります。ただしKVキャッシュの実際のサイズはバッチサイズ、コンテキスト長、モデルアーキテクチャ(MHAとGQAでは差が大きい)に依存します。購入前にターゲットモデルの推論負荷テストデータでVRAM容量を確定させてください。