SECTIONS
EDITIONS
NETWORK
AIXX Pedia L'encyclopédie du calcul intensif

AIXX Pedia › Concept technique › KV Cache cache d'inférence

KV Cache cache d'inférence

KV CACHE · Fiche de concept technique

Vue d'ensemble OVERVIEW

Le KV Cache (Key-Value Cache) est la zone de mémoire vidéo qui stocke les résultats intermédiaires du mécanisme d'attention lors de l'inférence des grands modèles de langage — à chaque token généré, ses clés (Key) et ses valeurs (Value) sont mises en cache pour servir de référence aux calculs d'attention des tokens suivants. La taille du KV Cache croît linéairement avec la longueur du contexte — le goulot d'étranglement mémoire de l'inférence à long contexte se situe précisément dans le KV Cache.

Le KV Cache est le « tueur invisible » de la planification mémoire en inférence : les poids d'un modèle 7B peuvent n'occuper que 14 Go, mais le KV Cache d'un long contexte peut en consommer plusieurs dizaines de plus — ne comptabiliser que les poids du modèle lors de la planification mémoire est une erreur fréquente chez les débutants. L'avantage des cartes à grande mémoire (H200 NVL 141 Go / MI325X 256 Go) en contexte long tient justement à leur espace KV Cache généreux.

Chiffres clés KEY NUMBERS

ÉlémentValeur / périmètre
Loi de croissanceLinéaire selon la longueur du contexte
Scénarios critiquesLong contexte / forte concurrence de lots
Techniques d'optimisationPagedAttention / MQA / GQA / quantification
Part de la mémoire vidéoPeut dépasser les poids du modèle eux-mêmes

Ce que cela signifie sur le B300 ON B300

L'avantage mémoire du B300 288 Go est le plus manifeste en inférence à long contexte — l'espace KV Cache y est plus de 3 fois supérieur à celui des cartes de 80 Go. Mais la taille réelle du KV Cache dépend de la taille de lot, de la longueur du contexte et de l'architecture du modèle (l'écart MHA/GQA est considérable) — avant tout achat, déterminez la spécification mémoire à partir des données de test de charge d'inférence du modèle visé.

Limites et points de vigilance LIMITS

  • Le KV Cache n'est pas compressible à zéro : la quantification du KV Cache (FP8/INT4) permet d'économiser de la mémoire mais peut dégrader la précision — à utiliser avec prudence dans les scénarios sensibles à la précision.
  • Risque d'isolation en multi-locataires : plusieurs utilisateurs partagent l'espace KV Cache d'une même carte — le long contexte d'un utilisateur peut empiéter sur l'espace des autres.

Présentation vidéo VIDEO

Mémoire HBM3eInterconnexion NVLinkSXM / NVL8Refroidissement liquide à plaque froide / CDUFormat de précision FP8MoE mélange d'expertsPuce de commutation NVSwitchRéseau d'interconnexion InfiniBandStockage NVMeCDU de refroidissement par liquideRDMA accès direct à la mémoire distanteGPUDirectTensor CoreMIG (Multi-Instance GPU)PCIe Gen5Calcul confidentielvGPU GPU virtuelFP4 / FP6 flottants basse précisionScale-up et Scale-outCPO optique co-packagéeNVLink FusionArchitecture modulaire MGXQuantification de modèleParallélisme de tenseursCommunications collectivesUsine à IABoucle de refroidissement liquideIndicateur d'efficacité PUETensorRT-LLMMoteur d'inférence vLLMLoRA adaptation bas rangChaîne d'approvisionnement en calculTCO coût total de possessionBenchmark de débit d'inférenceDistillation de modèleChaîne d'alimentation électriqueÉconomie des tokensPipeline de données d'entraînementStack d'optimisation d'inférenceMémoire GDDR7Famille des connecteurs d'alimentation (EPS/PCIe 8pin/12VHPWR/12V-2x6)Chronologie des contrôles à l'exportation vers la ChineGuide de validation GPU (nvidia-smi/GPU-Z)Optimisation d'inférence TensorRTExécution par graphes CUDA GraphsBibliothèque de communications collectives NCCLFormat de modèle ouvert ONNXGénéalogie des générations HBMEntraînement en précision mixteGénérations PCIeGénéalogie des formats de rackDécoder la nomenclature des GPUCircuit de GPU d'occasionComparaison refroidi par air / refroidi par liquideSanté mémoire et diagnostic de pannesMémoire HBM4Interconnexion UALinkFiche modèle B300

Références REFERENCES

  1. Site officiel NVIDIA — page produit Blackwell Ultra / HGX B300 https://www.nvidia.com/en-us/data-center/hgx/
  2. Marché et données de vente : AIXX Exchange (bande de marché de cette base)
Versions et corrections |Cette fiche est maintenue par la rédaction d'AIXX Pedia : rédaction assistée par IA, faits vérifiés à la main. Mise à jour le 2026-10-20 · version v1.0 · chaque modification est historisée et consultable.
Cette base
Politique éditorialeÀ propos de cette base (déclaration d'intérêts)le canal de corrections
Résumé de la charte éditoriale
Chaque affirmation sourcéeLes défauts obligatoirement mentionnés · Corrections publiques tracéesAucune entrée sponsorisée acceptéeZéro élément de prospection ou de vente dans les entréesDonnées de marché intégrées uniquement comme module de données
Famille AIXX
AIXX PediaAIXX ExchangeActualités AIXX
Source des données de marché : AIXX Exchange · © 2026 AIXX Pedia · Une production AIXX