AIXX Pedia › Concepto técnico › Stack de optimización de inferencia
El stack de optimización de inferencia es el sistema técnico completo que sustenta el servicio de inferencia de grandes modelos: de abajo hacia arriba, la capa de hardware (GPU/interconexión/almacenamiento) → la capa de compilación (TensorRT-LLM / vLLM / SGLang) → la capa de servicio (batching/enrutado/caché/monitorización) → la capa de negocio (peticiones de usuario/pasarela API/facturación). Cada capa ofrece margen de optimización: la optimización de inferencia no es una técnica puntual, sino una ingeniería de stack completo.
Panorama de las técnicas clave de optimización: PagedAttention (paginación del KV Cache), Continuous Batching (batching dinámico), Speculative Decoding (decodificación especulativa), Chunked Prefill (prefill por bloques), cuantización FP8/FP4, Prefix Caching (caché de prefijos): cada técnica aporta ganancias independientes de throughput/latencia, y combinadas sus efectos se acumulan.
| Concepto | Valor / criterio |
|---|---|
| PagedAttention | Gestión paginada del KV Cache (innovación de vLLM) |
| Continuous Batching | Batching dinámico (multiplica el throughput varias veces) |
| Speculative Decoding | Decodificación especulativa (un modelo pequeño adivina + el grande verifica) |
| Prefix Caching | Caché de prefijos (comparte el prompt y evita recálculos) |
El B300 cubre el stack completo de optimización de inferencia: cuantización FP4/FP8 (capa de hardware) + compilación con TensorRT-LLM/vLLM (capa de compilación) + In-flight Batching/Prefix Caching (capa de servicio): cada capa aporta ganancias propias y combinadas se acumulan. Al elegir plataforma, la completitud del stack de inferencia importa más que el rendimiento pico de un punto aislado.