AIXX Pedia › Concepto técnico › Motor de inferencia vLLM
vLLM es actualmente el motor de inferencia para modelos grandes de código abierto más popular: su innovación central es PagedAttention (gestión del KV Cache por páginas, como la memoria virtual de un sistema operativo), lo que mejora notablemente la utilización de la memoria de vídeo y el rendimiento concurrente. Soporta Continuous Batching (batching dinámico), paralelismo de tensores e inferencia con cuantización (GPTQ/AWQ/FP8): fue vLLM el que convirtió la elección de framework de inferencia, antes restringida a soluciones propietarias de NVIDIA (TensorRT-LLM), en un abanico de opciones de código abierto.
Qué significa para los compradores: el rendimiento de vLLM condiciona directamente la elección de GPU — con las mismas tarjetas, un cambio de versión o de configuración de vLLM puede duplicar el throughput. Ejecutar benchmarks con el modelo objetivo y la versión de vLLM prevista es un paso imprescindible antes de comprar. vLLM soporta a la vez CUDA (NVIDIA) y ROCm (AMD): al elegir entre ambos ecosistemas, es la base común de inferencia.
| Concepto | Valor / criterio |
|---|---|
| Innovación central | PagedAttention (gestión del KV Cache por páginas) |
| Hardware compatible | NVIDIA CUDA + AMD ROCm |
| Capacidad de concurrencia | Continuous Batching (batching dinámico) |
| Código abierto | Apache 2.0 |
El soporte de vLLM para B300 avanza al ritmo de la maduración del ecosistema CUDA/Blackwell — las rutas de inferencia con cuantización FP8/FP4 requieren la versión más reciente de vLLM y soporte del modelo. Antes de comprar, ejecute benchmarks (throughput/latencia/concurrencia) con el modelo objetivo y la última versión de vLLM — los datos de benchmark son el criterio sólido para la elección.