SECTIONS
EDITIONS
NETWORK
AIXX Pedia A enciclopédia do universo da computação

AIXX Pedia › Conceito técnico › Cache de inferência KV Cache

Cache de inferência KV Cache

KV CACHE · Verbete de conceito técnico

Visão geral OVERVIEW

O KV Cache (Key-Value Cache) é a região de VRAM que armazena os resultados intermediários do mecanismo de atenção durante a inferência de grandes modelos de linguagem — a cada token gerado, suas chaves (Keys) e valores (Values) precisam ser armazenados em cache para serem referenciados pelos cálculos de atenção dos tokens seguintes. O tamanho do KV Cache cresce linearmente com o comprimento do contexto — o gargalo de VRAM na inferência com contextos longos está justamente no KV Cache.

O KV Cache é o «assassino invisível» do planejamento de VRAM em cenários de inferência: os pesos de um modelo 7B podem ocupar apenas 14 GB, mas o KV Cache de um contexto longo pode consumir dezenas de GB adicionais — considerar apenas os pesos do modelo ao planejar a VRAM é um erro comum entre iniciantes. As placas de alta capacidade de memória (H200 NVL 141 GB / MI325X 256 GB) têm sua vantagem em cenários de contexto longo justamente pelo amplo espaço disponível para o KV Cache.

Números-chave KEY NUMBERS

ItemValores / critério
Padrão de crescimentoLinear com o comprimento do contexto
Cenários de gargaloContexto longo / concorrência em lotes grandes
Técnicas de otimizaçãoPagedAttention / MQA / GQA / quantização
Proporção na VRAMPode superar os próprios pesos

Significado no B300 ON B300

A vantagem dos 288 GB de VRAM do B300 é mais evidente em cenários de inferência com contexto longo — o espaço para o KV Cache é mais de 3 vezes o das placas de 80 GB. Mas o tamanho real do KV Cache depende do tamanho do lote, do comprimento do contexto e da arquitetura do modelo (a diferença entre MHA/GQA é grande) — antes da compra, use dados de teste de estresse de inferência do modelo-alvo para definir a especificação de VRAM.

Limites e observações LIMITS

  • O KV Cache não pode ser comprimido até zero: a quantização do KV Cache (FP8/INT4) economiza VRAM, mas pode degradar a precisão — use com cautela em cenários sensíveis à precisão.
  • Risco de isolamento em ambientes multi-inquilino: vários usuários compartilham o mesmo espaço de KV Cache da placa — o contexto longo de um usuário pode espremer o espaço dos demais.

Vídeo explicativo VIDEO

Memória HBM3eInterconexão NVLinkSXM / NVL8Refrigeração líquida por placa fria / CDUFormato de precisão FP8MoE (Mixture of Experts)Chip de switch NVSwitchRede de interconexão InfiniBandArmazenamento NVMeRefrigerado a líquido CDUAcesso remoto direto à memória (RDMA)GPUDirectTensor CoreMIG (Multi-Instance GPU)PCIe Gen5Computação confidencialGPU virtual vGPUPrecisão de ponto flutuante reduzida FP4 / FP6Scale-up e Scale-outÓptica encapsulada conjunta (CPO)NVLink FusionArquitetura modular MGXQuantização de modelosParalelismo de tensoresComunicação coletivaFábrica de IACircuito líquidoIndicador de eficiência energética PUETensorRT-LLMMotor de inferência vLLMAdaptação de baixo rank LoRACanais de cadeia de suprimento de computaçãoCusto total de propriedade (TCO)Benchmarks de throughput de inferênciaDestilação de modelosCadeia de suprimento de energiaEconomia de tokensPipeline de dados de treinamentoStack de otimização de inferênciaMemória de vídeo GDDR7Família de conectores de alimentação (EPS/PCIe 8pin/12VHPWR/12V-2x6)Linha do tempo dos controles de exportação para a ChinaGuia de verificação de GPUs (nvidia-smi/GPU-Z)Otimização de inferência com TensorRTExecução de grafos com CUDA GraphsBiblioteca de comunicação coletiva NCCLFormato aberto de modelos ONNXFamília de gerações HBMTreinamento com precisão mistaGerações PCIeFamília de formatos de rackGuia de nomenclatura de modelos de GPUCircuito de mercado de GPUs usadasComparativo entre refrigerado a ar e refrigerado a líquidoSaúde da memória de vídeo e diagnóstico de falhasMemória de vídeo HBM4Interconexão UALinkFicha de modelo B300

Referências REFERENCES

  1. Site oficial da NVIDIA — páginas do produto Blackwell Ultra / HGX B300 https://www.nvidia.com/en-us/data-center/hgx/
  2. Dados de mercado e oferta: AIXX Bolsa de Computação (faixa de cotações deste acervo)
Versões e erratas |Este verbete é mantido pela redação da AIXX Pedia, com rascunho assistido por IA e verificação factual humana. Atualizado em 20/10/2026 · versão v1.0 · todas as alterações ficam registradas e rastreáveis.
Esta base
Política editorialSobre esta base (declaração de interesses)canal de correções
Resumo da constituição editorial
Toda afirmação com fonteDefeitos sempre mencionados · erratas públicas e registradasEntradas pagas não são aceitasZero elementos de direcionamento e vendas nas entradasDados de mercado apenas como módulo de dados anexado
Família AIXX
AIXX PediaAIXX Bolsa de ComputaçãoInformações AIXX
Fonte dos dados de mercado: AIXX Bolsa de Computação · © 2026 AIXX Pedia · Produzido por AIXX