SECTIONS
EDITIONS
NETWORK
AIXX Pedia La enciclopedia del mundo del cómputo

AIXX Pedia › Concepto técnico › Motor de inferencia vLLM

Motor de inferencia vLLM

VLLM · Ficha de concepto técnico

Resumen OVERVIEW

vLLM es actualmente el motor de inferencia para modelos grandes de código abierto más popular: su innovación central es PagedAttention (gestión del KV Cache por páginas, como la memoria virtual de un sistema operativo), lo que mejora notablemente la utilización de la memoria de vídeo y el rendimiento concurrente. Soporta Continuous Batching (batching dinámico), paralelismo de tensores e inferencia con cuantización (GPTQ/AWQ/FP8): fue vLLM el que convirtió la elección de framework de inferencia, antes restringida a soluciones propietarias de NVIDIA (TensorRT-LLM), en un abanico de opciones de código abierto.

Qué significa para los compradores: el rendimiento de vLLM condiciona directamente la elección de GPU — con las mismas tarjetas, un cambio de versión o de configuración de vLLM puede duplicar el throughput. Ejecutar benchmarks con el modelo objetivo y la versión de vLLM prevista es un paso imprescindible antes de comprar. vLLM soporta a la vez CUDA (NVIDIA) y ROCm (AMD): al elegir entre ambos ecosistemas, es la base común de inferencia.

Cifras clave KEY NUMBERS

ConceptoValor / criterio
Innovación centralPagedAttention (gestión del KV Cache por páginas)
Hardware compatibleNVIDIA CUDA + AMD ROCm
Capacidad de concurrenciaContinuous Batching (batching dinámico)
Código abiertoApache 2.0

Su relevancia en el B300 ON B300

El soporte de vLLM para B300 avanza al ritmo de la maduración del ecosistema CUDA/Blackwell — las rutas de inferencia con cuantización FP8/FP4 requieren la versión más reciente de vLLM y soporte del modelo. Antes de comprar, ejecute benchmarks (throughput/latencia/concurrencia) con el modelo objetivo y la última versión de vLLM — los datos de benchmark son el criterio sólido para la elección.

Límites y advertencias LIMITS

  • Las iteraciones de vLLM son muy rápidas: hay versiones nuevas casi cada semana — la estrategia de actualización en producción debe ser prudente (mejoras de rendimiento por funciones nuevas frente al riesgo de estabilidad).
  • La configuración TP en multi-GPU es delicada: parámetros como el grado de TP, la topología de GPU o el tamaño de batch afectan mucho al throughput — no existe una «configuración universal»; el ajuste modelo a modelo es imprescindible.
  • Cobertura de modelos: vLLM soporta los principales modelos de código abierto — pero el soporte de arquitecturas concretas (como el enrutamiento de expertos en MoE) puede llegar más tarde que el lanzamiento del modelo.

Vídeo explicativo VIDEO

Memoria HBM3eInterconexión NVLinkSXM / NVL8refrigeración líquida por placa fría / CDUFormato de precisión FP8MoE (mezcla de expertos)Chip conmutador NVSwitchRed de interconexión InfiniBandAlmacenamiento NVMeCDU de refrigerado por líquidoAcceso remoto directo a memoria RDMAGPUDirectTensor CoreGPU multi-instancia MIGPCIe Gen5Computación confidencialGPU virtual vGPUPrecisión de punto flotante reducida FP4 / FP6Caché de inferencia KV CacheScale-up y Scale-outÓptica copackaged CPONVLink FusionArquitectura modular MGXCuantización de modelosParalelismo de tensoresComunicaciones colectivasFábrica de IACircuito de refrigeración líquidaIndicador de eficiencia energética PUETensorRT-LLMAdaptación de bajo rango LoRACadena de suministro de cómputoCoste total de propiedad (TCO)Benchmarks de rendimiento de inferenciaDestilación de modelosCadena de suministro de energíaEconomía del tokenPipeline de datos de entrenamientoStack de optimización de inferenciaMemoria de vídeo GDDR7Familia de conectores de alimentación (EPS/PCIe 8pin/12VHPWR/12V-2x6)Cronología de los controles de exportación hacia ChinaGuía de verificación de GPU (nvidia-smi/GPU-Z)Optimización de inferencia con TensorRTEjecución por grafos con CUDA GraphsBiblioteca de comunicación colectiva NCCLFormato abierto de modelos ONNXGenealogía de generaciones HBMEntrenamiento en precisión mixtaGeneraciones de PCIeGenealogía de formatos de rackGuía de nomenclatura de modelos de GPUCircuito de comercialización de GPU de segunda manoComparativa entre refrigerado por aire y refrigerado por líquidoSalud de la memoria de vídeo y diagnóstico de fallosMFU (utilización de cómputo del modelo)Memoria DDR5Memoria de vídeo HBM4Interconexión UALinkFicha de modelo B300

Referencias REFERENCES

  1. Sitio oficial de NVIDIA — Página del producto Blackwell Ultra / HGX B300 https://www.nvidia.com/en-us/data-center/hgx/
  2. Datos de mercado y circulación: AIXX Exchange (franja de mercado de esta base)
Versiones y correcciones |Esta entrada es mantenida por el equipo editorial de AIXX Pedia, redactada con asistencia de IA y verificada por humanos. Actualizada el 2026-10-31 · Versión v1.0 · Todos los cambios quedan registrados y consultables.
Esta base
Política editorialSobre esta base (declaración de intereses)canal de correcciones
Resumen de la constitución editorial
Cada afirmación con fuenteDefectos siempre indicados · correcciones públicas y trazablesNo se aceptan entradas pagadasCero elementos de captación o venta dentro de las entradasLos datos de cotización solo se montan como módulo de datos
Familia AIXX
AIXX CloudAIXX ExchangeAIXX IndexAIXX Noticias
Repaso de mercado: AIXX Exchange · © 2026 AIXX Pedia · una producción de AIXX