AIXX Pedia › Concept technique › KV Cache cache d'inférence
Le KV Cache (Key-Value Cache) est la zone de mémoire vidéo qui stocke les résultats intermédiaires du mécanisme d'attention lors de l'inférence des grands modèles de langage — à chaque token généré, ses clés (Key) et ses valeurs (Value) sont mises en cache pour servir de référence aux calculs d'attention des tokens suivants. La taille du KV Cache croît linéairement avec la longueur du contexte — le goulot d'étranglement mémoire de l'inférence à long contexte se situe précisément dans le KV Cache.
Le KV Cache est le « tueur invisible » de la planification mémoire en inférence : les poids d'un modèle 7B peuvent n'occuper que 14 Go, mais le KV Cache d'un long contexte peut en consommer plusieurs dizaines de plus — ne comptabiliser que les poids du modèle lors de la planification mémoire est une erreur fréquente chez les débutants. L'avantage des cartes à grande mémoire (H200 NVL 141 Go / MI325X 256 Go) en contexte long tient justement à leur espace KV Cache généreux.
| Élément | Valeur / périmètre |
|---|---|
| Loi de croissance | Linéaire selon la longueur du contexte |
| Scénarios critiques | Long contexte / forte concurrence de lots |
| Techniques d'optimisation | PagedAttention / MQA / GQA / quantification |
| Part de la mémoire vidéo | Peut dépasser les poids du modèle eux-mêmes |
L'avantage mémoire du B300 288 Go est le plus manifeste en inférence à long contexte — l'espace KV Cache y est plus de 3 fois supérieur à celui des cartes de 80 Go. Mais la taille réelle du KV Cache dépend de la taille de lot, de la longueur du contexte et de l'architecture du modèle (l'écart MHA/GQA est considérable) — avant tout achat, déterminez la spécification mémoire à partir des données de test de charge d'inférence du modèle visé.