AIXX Pedia › Concept technique › Moteur d'inférence vLLM
vLLM est aujourd'hui le moteur d'inférence open source le plus répandu pour les grands modèles : son innovation clé, le PagedAttention (gestion du KV Cache par pagination, à la manière de la mémoire virtuelle d'un OS), améliore nettement l'utilisation de la mémoire vidéo et le débit en concurrence. Il prend en charge le Continuous Batching (batching dynamique), le Tensor Parallelism et l'inférence quantifiée (GPTQ/AWQ/FP8) — c'est vLLM qui a fait passer le choix d'un framework d'inférence du domaine propriétaire NVIDIA (TensorRT-LLM) à un écosystème open source aux multiples options.
Ce que cela implique pour les acheteurs : les performances de vLLM influencent directement le choix des GPU — à carte égale, un simple changement de version ou de configuration de vLLM peut faire varier le débit d'un facteur 2. Avant tout achat, exécuter un benchmark avec le modèle cible et la version de vLLM visée est une étape indispensable. vLLM prend en charge CUDA (NVIDIA) comme ROCm (AMD) — lors d'un choix multi-camps, il constitue la couche d'inférence commune.
| Élément | Valeur / périmètre |
|---|---|
| Innovation clé | PagedAttention (gestion paginée du KV Cache) |
| Matériel pris en charge | NVIDIA CUDA + AMD ROCm |
| Capacité de concurrence | Continuous Batching (batching dynamique) |
| Open source | Apache 2.0 |
La prise en charge du B300 par vLLM progresse avec la maturation de l'écosystème CUDA/Blackwell — les chemins d'inférence quantifiée FP8/FP4 exigent une version récente de vLLM et un support côté modèle. Avant l'achat, lancez des benchmarks (débit/latence/concurrence) avec le modèle cible et la dernière version de vLLM — les chiffres mesurés restent la base tangible de la sélection.