AIXX Pedia › Conceito técnico › Cache de inferência KV Cache
O KV Cache (Key-Value Cache) é a região de VRAM que armazena os resultados intermediários do mecanismo de atenção durante a inferência de grandes modelos de linguagem — a cada token gerado, suas chaves (Keys) e valores (Values) precisam ser armazenados em cache para serem referenciados pelos cálculos de atenção dos tokens seguintes. O tamanho do KV Cache cresce linearmente com o comprimento do contexto — o gargalo de VRAM na inferência com contextos longos está justamente no KV Cache.
O KV Cache é o «assassino invisível» do planejamento de VRAM em cenários de inferência: os pesos de um modelo 7B podem ocupar apenas 14 GB, mas o KV Cache de um contexto longo pode consumir dezenas de GB adicionais — considerar apenas os pesos do modelo ao planejar a VRAM é um erro comum entre iniciantes. As placas de alta capacidade de memória (H200 NVL 141 GB / MI325X 256 GB) têm sua vantagem em cenários de contexto longo justamente pelo amplo espaço disponível para o KV Cache.
| Item | Valores / critério |
|---|---|
| Padrão de crescimento | Linear com o comprimento do contexto |
| Cenários de gargalo | Contexto longo / concorrência em lotes grandes |
| Técnicas de otimização | PagedAttention / MQA / GQA / quantização |
| Proporção na VRAM | Pode superar os próprios pesos |
A vantagem dos 288 GB de VRAM do B300 é mais evidente em cenários de inferência com contexto longo — o espaço para o KV Cache é mais de 3 vezes o das placas de 80 GB. Mas o tamanho real do KV Cache depende do tamanho do lote, do comprimento do contexto e da arquitetura do modelo (a diferença entre MHA/GQA é grande) — antes da compra, use dados de teste de estresse de inferência do modelo-alvo para definir a especificação de VRAM.