SECTIONS
EDITIONS
NETWORK
AIXX Pedia La enciclopedia del mundo del cómputo

AIXX Pedia › Concepto técnico › Stack de optimización de inferencia

Stack de optimización de inferencia

INFERENCE OPTIMIZATION STACK · Ficha de concepto técnico

Resumen OVERVIEW

El stack de optimización de inferencia es el sistema técnico completo que sustenta el servicio de inferencia de grandes modelos: de abajo hacia arriba, la capa de hardware (GPU/interconexión/almacenamiento) → la capa de compilación (TensorRT-LLM / vLLM / SGLang) → la capa de servicio (batching/enrutado/caché/monitorización) → la capa de negocio (peticiones de usuario/pasarela API/facturación). Cada capa ofrece margen de optimización: la optimización de inferencia no es una técnica puntual, sino una ingeniería de stack completo.

Panorama de las técnicas clave de optimización: PagedAttention (paginación del KV Cache), Continuous Batching (batching dinámico), Speculative Decoding (decodificación especulativa), Chunked Prefill (prefill por bloques), cuantización FP8/FP4, Prefix Caching (caché de prefijos): cada técnica aporta ganancias independientes de throughput/latencia, y combinadas sus efectos se acumulan.

Cifras clave KEY NUMBERS

ConceptoValor / criterio
PagedAttentionGestión paginada del KV Cache (innovación de vLLM)
Continuous BatchingBatching dinámico (multiplica el throughput varias veces)
Speculative DecodingDecodificación especulativa (un modelo pequeño adivina + el grande verifica)
Prefix CachingCaché de prefijos (comparte el prompt y evita recálculos)

Su relevancia en el B300 ON B300

El B300 cubre el stack completo de optimización de inferencia: cuantización FP4/FP8 (capa de hardware) + compilación con TensorRT-LLM/vLLM (capa de compilación) + In-flight Batching/Prefix Caching (capa de servicio): cada capa aporta ganancias propias y combinadas se acumulan. Al elegir plataforma, la completitud del stack de inferencia importa más que el rendimiento pico de un punto aislado.

Límites y advertencias LIMITS

  • Las técnicas de optimización tienen límites de acumulación: al combinar varias optimizaciones, las ganancias no se suman de forma simple: ciertas combinaciones pueden anularse entre sí o introducir nuevos cuellos de botella.
  • La decodificación especulativa no siempre es más rápida: el rendimiento de Speculative Decoding depende de la tasa de acierto del modelo pequeño; en escenarios con baja tasa de acierto resulta incluso más lento (se añade una inferencia extra del modelo pequeño).
  • La tasa de acierto del Prefix Caching depende del negocio: la ganancia de la caché de prefijos depende de la tasa de repetición de prefijos en las peticiones de usuario; en escenarios con baja tasa de acierto el beneficio es limitado.

Vídeo explicativo VIDEO

Memoria HBM3eInterconexión NVLinkSXM / NVL8refrigeración líquida por placa fría / CDUFormato de precisión FP8MoE (mezcla de expertos)Chip conmutador NVSwitchRed de interconexión InfiniBandAlmacenamiento NVMeCDU de refrigerado por líquidoAcceso remoto directo a memoria RDMAGPUDirectTensor CoreGPU multi-instancia MIGPCIe Gen5Computación confidencialGPU virtual vGPUPrecisión de punto flotante reducida FP4 / FP6Caché de inferencia KV CacheScale-up y Scale-outÓptica copackaged CPONVLink FusionArquitectura modular MGXCuantización de modelosParalelismo de tensoresComunicaciones colectivasFábrica de IACircuito de refrigeración líquidaIndicador de eficiencia energética PUETensorRT-LLMMotor de inferencia vLLMAdaptación de bajo rango LoRACadena de suministro de cómputoCoste total de propiedad (TCO)Benchmarks de rendimiento de inferenciaDestilación de modelosCadena de suministro de energíaEconomía del tokenPipeline de datos de entrenamientoMemoria de vídeo GDDR7Familia de conectores de alimentación (EPS/PCIe 8pin/12VHPWR/12V-2x6)Cronología de los controles de exportación hacia ChinaGuía de verificación de GPU (nvidia-smi/GPU-Z)Optimización de inferencia con TensorRTEjecución por grafos con CUDA GraphsBiblioteca de comunicación colectiva NCCLFormato abierto de modelos ONNXGenealogía de generaciones HBMEntrenamiento en precisión mixtaGeneraciones de PCIeGenealogía de formatos de rackGuía de nomenclatura de modelos de GPUCircuito de comercialización de GPU de segunda manoComparativa entre refrigerado por aire y refrigerado por líquidoSalud de la memoria de vídeo y diagnóstico de fallosMemoria de vídeo HBM4Interconexión UALinkFicha de modelo B300

Referencias REFERENCES

  1. Sitio oficial de NVIDIA — Página del producto Blackwell Ultra / HGX B300 https://www.nvidia.com/en-us/data-center/hgx/
  2. Datos de mercado y disponibilidad: AIXX Exchange (franja de mercado de esta base)
Versiones y correcciones |Esta ficha está mantenida por el equipo editorial de AIXX Pedia, redactada con asistencia de IA y verificada por humanos. Actualizada el 2026-10-20 · versión v1.0 · todos los cambios quedan registrados y son consultables.
Esta base
Política editorialSobre esta base (declaración de intereses)canal de correcciones
Resumen de la constitución editorial
Cada afirmación con fuenteDefectos siempre indicados · correcciones públicas y trazablesNo se aceptan entradas pagadasCero elementos de captación o venta dentro de las entradasLos datos de cotización solo se montan como módulo de datos
Familia AIXX
AIXX PediaAIXX ExchangeAIXX Noticias
Fuente de datos de cotización: AIXX Exchange · © 2026 AIXX Pedia · una producción de AIXX