AIXX Pedia › Conceito técnico › Stack de otimização de inferência
O stack de otimização de inferência é o sistema técnico completo para serviços de inferência de grandes modelos — de baixo para cima: camada de hardware (GPU/interconexão/armazenamento) → camada de compilação (TensorRT-LLM / vLLM / SGLang) → camada de serviço (batching/roteamento/cache/monitoramento) → camada de negócio (solicitações de usuário/API gateway/faturamento). Cada camada oferece espaço de otimização — a otimização de inferência não é uma técnica pontual, mas engenharia de stack completo.
Visão geral das principais técnicas de otimização: PagedAttention (paginação do KV Cache), Continuous Batching (batching dinâmico), Speculative Decoding (decodificação especulativa), Chunked Prefill (prefill em blocos), quantização FP8/FP4, Prefix Caching (cache de prefixo) — cada técnica traz ganhos independentes de throughput/latência, e seus efeitos se somam quando combinadas.
| Item | Valores / critério |
|---|---|
| PagedAttention | Gestão paginada do KV Cache (pioneirado pelo vLLM) |
| Continuous Batching | Batching dinâmico (aumento do throughput em várias vezes) |
| Speculative Decoding | Decodificação especulativa (modelo pequeno adivinha + modelo grande valida) |
| Prefix Caching | Cache de prefixo (compartilha o prompt sem recalcular) |
O B300 cobre integralmente o stack de otimização de inferência: quantização FP4/FP8 (camada de hardware) + compilação via TensorRT-LLM/vLLM (camada de compilação) + In-flight Batching/Prefix Caching (camada de serviço) — cada camada traz ganhos de otimização independentes, e os efeitos se somam quando combinados. Na escolha, a completude do stack de inferência importa mais do que o desempenho de pico em um único ponto.