AIXX Pedia › Concepto técnico › Caché de inferencia KV Cache
El KV Cache (Key-Value Cache) es la región de memoria de vídeo que almacena los resultados intermedios del mecanismo de atención durante la inferencia de modelos grandes: por cada token generado, sus claves (Key) y valores (Value) se guardan en caché para que los tokens posteriores puedan consultarlas en sus cálculos de atención. El tamaño del KV Cache crece linealmente con la longitud del contexto: el cuello de botella de memoria en inferencia con contextos largos está precisamente en el KV Cache.
El KV Cache es el «asesino silencioso» de la planificación de memoria en escenarios de inferencia: los pesos de un modelo de 7B pueden ocupar solo 14 GB, pero el KV Cache de un contexto largo puede consumir decenas de GB adicionales — contar solo los pesos del modelo al planificar la memoria es un error típico de principiante. La ventaja de las tarjetas de gran memoria (H200 NVL de 141 GB / MI325X de 256 GB) en escenarios de contexto largo radica precisamente en su amplio espacio para el KV Cache.
| Concepto | Valor / criterio |
|---|---|
| Patrón de crecimiento | Lineal respecto a la longitud del contexto |
| Escenarios de cuello de botella | Contextos largos / gran concurrencia por lotes |
| Técnicas de optimización | PagedAttention / MQA / GQA / cuantización |
| Proporción de memoria | Puede superar a los propios pesos |
La ventaja de memoria del B300 de 288 GB es más evidente en inferencia con contextos largos: su espacio para el KV Cache es más del triple que el de la gama de 80 GB. Pero el tamaño real del KV Cache depende del tamaño de lote, la longitud del contexto y la arquitectura del modelo (la diferencia entre MHA y GQA es considerable): antes de comprar, define la especificación de memoria con datos de pruebas de esfuerzo de inferencia del modelo objetivo.