SECTIONS
EDITIONS
NETWORK
AIXX Pedia Die Enzyklopädie der Rechenleistung

AIXX Pedia › Technisches Konzept › KV-Cache-Inferenzspeicher

KV-Cache-Inferenzspeicher

KV CACHE · Technisches Konzept

Überblick OVERVIEW

Der KV Cache (Key-Value Cache) ist ein Speicherbereich im VRAM, der während der Inferenz großer Sprachmodelle Zwischenergebnisse des Attention-Mechanismus zwischenspeichert — für jedes generierte Token werden dessen Key- und Value-Werte gespeichert, damit nachfolgende Token bei der Attention-Berechnung darauf zugreifen können. Die Größe des KV Cache wächst linear mit der Kontextlänge — bei Inferenz mit langen Kontexten ist der KV Cache genau der VRAM-Flaschenhals.

Der KV Cache ist im Inferenzbereich der „unsichtbare Killer" bei der VRAM-Planung: Die Gewichte eines 7B-Modells belegen vielleicht nur 14 GB, doch der KV Cache bei langen Kontexten kann Dutzende GB zusätzlich beanspruchen — nur die Modellgewichte in die VRAM-Planung einzurechnen ist ein typischer Anfängerfehler. Der Vorteil von Karten mit großem VRAM (H200 NVL 141 GB / MI325X 256 GB) bei langen Kontexten liegt schlicht im großzügigen Platz für den KV Cache.

Kennzahlen KEY NUMBERS

PositionWert / Definition
Wachstumsverhaltenlinear mit der Kontextlänge
Flaschenhals-Szenarienlange Kontexte / große Batch-Parallelität
OptimierungstechnikenPagedAttention / MQA / GQA / Quantisierung
VRAM-Anteilkann die Modellgewichte selbst übersteigen

Bedeutung für die B300 ON B300

Der VRAM-Vorteil des B300 mit 288 GB zeigt sich bei der Inferenz mit langen Kontexten am deutlichsten — der Platz für den KV Cache liegt über dem Dreifachen der 80-GB-Klasse. Die tatsächliche Größe des KV Cache hängt jedoch von der Batch-Größe, der Kontextlänge und der Modellarchitektur ab (der Unterschied zwischen MHA und GQA ist erheblich) — vor dem Kauf sollte die VRAM-Spezifikation anhand von Inferenz-Benchmark-Daten des Zielmodells festgelegt werden.

Grenzen und Hinweise LIMITS

  • Der KV Cache lässt sich nicht auf null komprimieren: Die Quantisierung des KV Cache (FP8/INT4) spart zwar VRAM, kann aber Genauigkeit kosten — in genauigkeitssensiblen Szenarien mit Vorsicht einsetzen.
  • Isolationsrisiko bei Mehrmandanten-Betrieb: Teilen sich mehrere Nutzer denselben VRAM für den KV Cache, kann der lange Kontext eines Nutzers den Platz der anderen verdrängen.

Videoerklärung VIDEO

Quellen REFERENCES

  1. NVIDIA-Website – Blackwell Ultra / HGX B300 Produktseite https://www.nvidia.com/en-us/data-center/hgx/
  2. Marktdaten und Angebote: AIXX Börse (Marktband dieser Datenbank)
Versionen und Korrekturen | Dieser Eintrag wird von der AIXX Pedia-Redaktion gepflegt, KI-gestützt verfasst, manuell faktengeprüft. Aktualisiert am 2026-10-20 · Version v1.0 · Alle Änderungen nachvollziehbar dokumentiert.
Datenbank
RedaktionsrichtlinienInteressenmeldung zu dieser DatenbankKorrekturkanal
Auszug aus der Redaktionsverfassung
Jede Aussage mit QuelleSchwächen immer benannt · Korrekturen öffentlich dokumentiertKeine bezahlten EinträgeKeine Werbung oder Verkaufselemente in EinträgenMarktdaten ausschließlich als Datenmodul eingebunden
AIXX-Familie
AIXX PediaAIXX BörseAIXX News
Quellen der Marktdaten: AIXX Börse · © 2026 AIXX Pedia · Ein Angebot von AIXX