SECTIONS
EDITIONS
NETWORK
AIXXPedia算力分野の百科事典

AIXX 百科 › 技術コンセプト › KV Cache 推論キャッシュ

KV Cache 推論キャッシュ

KV CACHE · 技術コンセプト用語

概要OVERVIEW

KVキャッシュ(Key-Value Cache)は、大規模モデルの推論過程においてアテンション機構の中間結果を保存するVRAM領域です。トークンを1つ生成するたびに、そのKeyとValueをキャッシュし、以降のトークンのアテンション計算で参照できるようにします。KVキャッシュのサイズはコンテキスト長に比例して増加します。長コンテキスト推論のVRAMボトルネックは、まさにこのKVキャッシュにあります。

KVキャッシュは推論シーンにおけるVRAM容量計画の『見えない杀手』です。7Bモデルの重みは14GB程度に収まるかもしれませんが、長コンテキストのKVキャッシュがさらに数十GBを消費することもあります。VRAM計画でモデルの重みだけを見積もるのは、初心者にありがちなミスです。大容量VRAMカード(H200 NVL 141GB / MI325X 256GB)が長コンテキスト環境で強いのは、KVキャッシュ用の余裕が大きい点にあります。

主要数値KEY NUMBERS

項目数値 / 基準
増加傾向コンテキスト長に比例
ボトルネックが生じるシーン長コンテキスト/大バッチ同時処理
最適化技術PagedAttention / MQA / GQA / 量子化
VRAMに占める割合モデル重み自体を超えることも

B300 における意義ON B300

B300 288GBのVRAM優位性が最も顕著なのは長コンテキスト推論シーンです。KVキャッシュ用の容量は80GBクラスの3倍以上あります。ただしKVキャッシュの実際のサイズはバッチサイズ、コンテキスト長、モデルアーキテクチャ(MHAとGQAでは差が大きい)に依存します。購入前にターゲットモデルの推論負荷テストデータでVRAM容量を確定させてください。

限界と留意点LIMITS

  • KVキャッシュはゼロまで圧縮できません。KVキャッシュの量子化(FP8/INT4)でVRAMを節約できる一方、精度が落ちる可能性があります。精度が重要なシーンでは使用に注意が必要です。
  • マルチテナント共有環境での分離リスク:複数ユーザーが同一カードのKVキャッシュ領域を共有するため、あるユーザーの長コンテキストが他のユーザーの領域を圧迫することがあります。

動画解説VIDEO

HBM3e メモリNVLink インターコネクトSXM / NVL8コールドプレート液冷 / CDUFP8 精度フォーマットMoE 混合エキスパートNVSwitch スイッチチップInfiniBand インターコネクトネットワークNVMe ストレージ液冷CDURDMA リモートダイレクトメモリアクセスGPUDirectTensor Core テンソルコアMIG マルチインスタンス GPUPCIe Gen5コンフィデンシャルコンピューティングvGPU 仮想 GPUFP4 / FP6 マイクロスケーリング浮動小数点精度Scale-up と Scale-outCPO コパッケージオプティクスNVLink FusionMGX モジュラーアーキテクチャモデルの量子化テンソル並列集合通信AI ファクトリー液冷回路PUE エネルギー効率指標TensorRT-LLMvLLM 推論エンジンLoRA 低ランクアダプテーション計算資源サプライチェーンチャネルTCO 総所有コスト推論スループットベンチマークモデルの蒸留電力サプライチェーンToken 経済学学習データパイプライン推論最適化技術スタックGDDR7 メモリ電源コネクタ系譜(EPS/PCIe 8pin/12VHPWR/12V-2x6)対中輸出規制のタイムラインGPU 検証ガイド(nvidia-smi/GPU-Z)TensorRT 推論最適化CUDA Graphs グラフ実行NCCL 集合通信ライブラリONNX オープンモデルフォーマットHBM 世代系譜混合精度学習PCIe 世代ラックフォームファクター系譜GPU 型番命名規則の読み解き中古 GPU 流通経路空冷と液冷の比較メモリの健全性と故障判読HBM4 メモリUALink インターコネクトB300 機種項目

参考文献REFERENCES

  1. NVIDIA公式サイト — Blackwell Ultra / HGX B300 製品ページ https://www.nvidia.com/en-us/data-center/hgx/
  2. 相場と販売データ:AIXX 取引所(本データベースの相場帯)
バージョンと訂正|本項目は AIXX Pedia 編集部が管理し、AI が下書きし、人手で事実確認を行っています。更新:2026-10-20 · バージョン v1.0 · 変更履歴はすべて追跡可能です。
本ライブラリ
編集ポリシー本ライブラリについて(利益相反の表明)訂正窓口
編集憲法の概要
すべての記述に出典を明記弱点は必ず記載・訂正は公開で記録に残す有料項目は受け付けない項目内への誘導・販売要素は一切なし市況データはデータモジュールとしてのみ掲載
AIXX ファミリー
AIXX 百科AIXX 取引所AIXX ニュース
市況データの出典:AIXX 取引所 · © 2026 AIXX 百科 AIXX Pedia · AIXX 制作