AIXX Pedia › Technisches Konzept › KV-Cache-Inferenzspeicher
Der KV Cache (Key-Value Cache) ist ein Speicherbereich im VRAM, der während der Inferenz großer Sprachmodelle Zwischenergebnisse des Attention-Mechanismus zwischenspeichert — für jedes generierte Token werden dessen Key- und Value-Werte gespeichert, damit nachfolgende Token bei der Attention-Berechnung darauf zugreifen können. Die Größe des KV Cache wächst linear mit der Kontextlänge — bei Inferenz mit langen Kontexten ist der KV Cache genau der VRAM-Flaschenhals.
Der KV Cache ist im Inferenzbereich der „unsichtbare Killer" bei der VRAM-Planung: Die Gewichte eines 7B-Modells belegen vielleicht nur 14 GB, doch der KV Cache bei langen Kontexten kann Dutzende GB zusätzlich beanspruchen — nur die Modellgewichte in die VRAM-Planung einzurechnen ist ein typischer Anfängerfehler. Der Vorteil von Karten mit großem VRAM (H200 NVL 141 GB / MI325X 256 GB) bei langen Kontexten liegt schlicht im großzügigen Platz für den KV Cache.
| Position | Wert / Definition |
|---|---|
| Wachstumsverhalten | linear mit der Kontextlänge |
| Flaschenhals-Szenarien | lange Kontexte / große Batch-Parallelität |
| Optimierungstechniken | PagedAttention / MQA / GQA / Quantisierung |
| VRAM-Anteil | kann die Modellgewichte selbst übersteigen |
Der VRAM-Vorteil des B300 mit 288 GB zeigt sich bei der Inferenz mit langen Kontexten am deutlichsten — der Platz für den KV Cache liegt über dem Dreifachen der 80-GB-Klasse. Die tatsächliche Größe des KV Cache hängt jedoch von der Batch-Größe, der Kontextlänge und der Modellarchitektur ab (der Unterschied zwischen MHA und GQA ist erheblich) — vor dem Kauf sollte die VRAM-Spezifikation anhand von Inferenz-Benchmark-Daten des Zielmodells festgelegt werden.