AIXX Pedia › Concept technique › Stack d'optimisation d'inférence
Le stack d'optimisation d'inférence constitue l'ensemble complet des technologies au service de l'inférence des grands modèles — de bas en haut : couche matérielle (GPU/interconnexion/stockage) → couche de compilation (TensorRT-LLM / vLLM / SGLang) → couche de service (batching/routage/cache/monitoring) → couche métier (requêtes utilisateurs/passerelle API/facturation). Chaque couche offre des marges d'optimisation — l'« optimisation d'inférence » n'est pas une technique ponctuelle mais un travail d'ingénierie sur l'ensemble du stack.
Panorama des techniques clés d'optimisation : PagedAttention (pagination du KV Cache), Continuous Batching (batching dynamique), Speculative Decoding (décodage spéculatif), Chunked Prefill (préremplissage par blocs), quantification FP8/FP4, Prefix Caching (cache de préfixe) — chaque technique apporte des gains distincts en débit/latence, et leurs effets se cumulent en combinaison.
| Élément | Valeur / périmètre |
|---|---|
| PagedAttention | Gestion paginée du KV Cache (introduit par vLLM) |
| Continuous Batching | Batching dynamique (débit multiplié plusieurs fois) |
| Speculative Decoding | Décodage spéculatif (petit modèle devine + grand modèle vérifie) |
| Prefix Caching | Cache de préfixe (partage du prompt, sans recalcul) |
Le B300 couvre l'intégralité du stack d'optimisation d'inférence : quantification FP4/FP8 (couche matérielle) + compilation TensorRT-LLM/vLLM (couche de compilation) + In-flight Batching/Prefix Caching (couche de service) — chaque couche apporte des gains d'optimisation distincts, qui se cumulent en combinaison. Au moment du choix, la complétude du stack d'inférence compte plus que la performance de crête sur un point isolé.