SECTIONS
EDITIONS
NETWORK
AIXX Pedia La enciclopedia del mundo del cómputo

AIXX Pedia › Concepto técnico › Caché de inferencia KV Cache

Caché de inferencia KV Cache

KV CACHE · Ficha de concepto técnico

Resumen OVERVIEW

El KV Cache (Key-Value Cache) es la región de memoria de vídeo que almacena los resultados intermedios del mecanismo de atención durante la inferencia de modelos grandes: por cada token generado, sus claves (Key) y valores (Value) se guardan en caché para que los tokens posteriores puedan consultarlas en sus cálculos de atención. El tamaño del KV Cache crece linealmente con la longitud del contexto: el cuello de botella de memoria en inferencia con contextos largos está precisamente en el KV Cache.

El KV Cache es el «asesino silencioso» de la planificación de memoria en escenarios de inferencia: los pesos de un modelo de 7B pueden ocupar solo 14 GB, pero el KV Cache de un contexto largo puede consumir decenas de GB adicionales — contar solo los pesos del modelo al planificar la memoria es un error típico de principiante. La ventaja de las tarjetas de gran memoria (H200 NVL de 141 GB / MI325X de 256 GB) en escenarios de contexto largo radica precisamente en su amplio espacio para el KV Cache.

Cifras clave KEY NUMBERS

ConceptoValor / criterio
Patrón de crecimientoLineal respecto a la longitud del contexto
Escenarios de cuello de botellaContextos largos / gran concurrencia por lotes
Técnicas de optimizaciónPagedAttention / MQA / GQA / cuantización
Proporción de memoriaPuede superar a los propios pesos

Su relevancia en el B300 ON B300

La ventaja de memoria del B300 de 288 GB es más evidente en inferencia con contextos largos: su espacio para el KV Cache es más del triple que el de la gama de 80 GB. Pero el tamaño real del KV Cache depende del tamaño de lote, la longitud del contexto y la arquitectura del modelo (la diferencia entre MHA y GQA es considerable): antes de comprar, define la especificación de memoria con datos de pruebas de esfuerzo de inferencia del modelo objetivo.

Límites y advertencias LIMITS

  • El KV Cache no se puede comprimir hasta cero: cuantizar el KV Cache (FP8/INT4) ahorra memoria pero puede degradar la precisión — úsalo con cautela en escenarios sensibles a la precisión.
  • Riesgo de aislamiento en entornos multiusuario compartidos: varios usuarios comparten el espacio de KV Cache de la misma tarjeta — el contexto largo de un usuario puede invadir el espacio de los demás.

Vídeo explicativo VIDEO

Memoria HBM3eInterconexión NVLinkSXM / NVL8refrigeración líquida por placa fría / CDUFormato de precisión FP8MoE (mezcla de expertos)Chip conmutador NVSwitchRed de interconexión InfiniBandAlmacenamiento NVMeCDU de refrigerado por líquidoAcceso remoto directo a memoria RDMAGPUDirectTensor CoreGPU multi-instancia MIGPCIe Gen5Computación confidencialGPU virtual vGPUPrecisión de punto flotante reducida FP4 / FP6Scale-up y Scale-outÓptica copackaged CPONVLink FusionArquitectura modular MGXCuantización de modelosParalelismo de tensoresComunicaciones colectivasFábrica de IACircuito de refrigeración líquidaIndicador de eficiencia energética PUETensorRT-LLMMotor de inferencia vLLMAdaptación de bajo rango LoRACadena de suministro de cómputoCoste total de propiedad (TCO)Benchmarks de rendimiento de inferenciaDestilación de modelosCadena de suministro de energíaEconomía del tokenPipeline de datos de entrenamientoStack de optimización de inferenciaMemoria de vídeo GDDR7Familia de conectores de alimentación (EPS/PCIe 8pin/12VHPWR/12V-2x6)Cronología de los controles de exportación hacia ChinaGuía de verificación de GPU (nvidia-smi/GPU-Z)Optimización de inferencia con TensorRTEjecución por grafos con CUDA GraphsBiblioteca de comunicación colectiva NCCLFormato abierto de modelos ONNXGenealogía de generaciones HBMEntrenamiento en precisión mixtaGeneraciones de PCIeGenealogía de formatos de rackGuía de nomenclatura de modelos de GPUCircuito de comercialización de GPU de segunda manoComparativa entre refrigerado por aire y refrigerado por líquidoSalud de la memoria de vídeo y diagnóstico de fallosMemoria de vídeo HBM4Interconexión UALinkFicha de modelo B300

Referencias REFERENCES

  1. Sitio oficial de NVIDIA — Página del producto Blackwell Ultra / HGX B300 https://www.nvidia.com/en-us/data-center/hgx/
  2. Datos de mercado y disponibilidad: AIXX Exchange (franja de mercado de esta base)
Versiones y correcciones |Esta ficha está mantenida por el equipo editorial de AIXX Pedia, redactada con asistencia de IA y verificada por humanos. Actualizada el 2026-10-20 · versión v1.0 · todos los cambios quedan registrados y son consultables.
Esta base
Política editorialSobre esta base (declaración de intereses)canal de correcciones
Resumen de la constitución editorial
Cada afirmación con fuenteDefectos siempre indicados · correcciones públicas y trazablesNo se aceptan entradas pagadasCero elementos de captación o venta dentro de las entradasLos datos de cotización solo se montan como módulo de datos
Familia AIXX
AIXX PediaAIXX ExchangeAIXX Noticias
Fuente de datos de cotización: AIXX Exchange · © 2026 AIXX Pedia · una producción de AIXX