SECTIONS
EDITIONS
NETWORK
AIXX Pedia A enciclopédia do universo da computação

AIXX Pedia › Conceito técnico › Stack de otimização de inferência

Stack de otimização de inferência

INFERENCE OPTIMIZATION STACK · Verbete de conceito técnico

Visão geral OVERVIEW

O stack de otimização de inferência é o sistema técnico completo para serviços de inferência de grandes modelos — de baixo para cima: camada de hardware (GPU/interconexão/armazenamento) → camada de compilação (TensorRT-LLM / vLLM / SGLang) → camada de serviço (batching/roteamento/cache/monitoramento) → camada de negócio (solicitações de usuário/API gateway/faturamento). Cada camada oferece espaço de otimização — a otimização de inferência não é uma técnica pontual, mas engenharia de stack completo.

Visão geral das principais técnicas de otimização: PagedAttention (paginação do KV Cache), Continuous Batching (batching dinâmico), Speculative Decoding (decodificação especulativa), Chunked Prefill (prefill em blocos), quantização FP8/FP4, Prefix Caching (cache de prefixo) — cada técnica traz ganhos independentes de throughput/latência, e seus efeitos se somam quando combinadas.

Números-chave KEY NUMBERS

ItemValores / critério
PagedAttentionGestão paginada do KV Cache (pioneirado pelo vLLM)
Continuous BatchingBatching dinâmico (aumento do throughput em várias vezes)
Speculative DecodingDecodificação especulativa (modelo pequeno adivinha + modelo grande valida)
Prefix CachingCache de prefixo (compartilha o prompt sem recalcular)

Significado no B300 ON B300

O B300 cobre integralmente o stack de otimização de inferência: quantização FP4/FP8 (camada de hardware) + compilação via TensorRT-LLM/vLLM (camada de compilação) + In-flight Batching/Prefix Caching (camada de serviço) — cada camada traz ganhos de otimização independentes, e os efeitos se somam quando combinados. Na escolha, a completude do stack de inferência importa mais do que o desempenho de pico em um único ponto.

Limites e observações LIMITS

  • As técnicas de otimização têm limites de sobreposição: o ganho de combinar várias otimizações não é uma simples soma — certas combinações podem se anular mutuamente ou introduzir novos gargalos.
  • Speculative Decoding nem sempre é mais rápido: o efeito da Speculative Decoding depende da taxa de acerto do modelo pequeno — em cenários com baixa taxa de acerto, pode ficar ainda mais lento (há uma inferência extra do modelo pequeno).
  • A taxa de acerto do Prefix Caching depende do negócio: o ganho do cache de prefixo depende da taxa de repetição de prefixos nas solicitações dos usuários — em cenários de baixa taxa de acerto, o benefício é limitado.

Vídeo explicativo VIDEO

Memória HBM3eInterconexão NVLinkSXM / NVL8Refrigeração líquida por placa fria / CDUFormato de precisão FP8MoE (Mixture of Experts)Chip de switch NVSwitchRede de interconexão InfiniBandArmazenamento NVMeRefrigerado a líquido CDUAcesso remoto direto à memória (RDMA)GPUDirectTensor CoreMIG (Multi-Instance GPU)PCIe Gen5Computação confidencialGPU virtual vGPUPrecisão de ponto flutuante reduzida FP4 / FP6Cache de inferência KV CacheScale-up e Scale-outÓptica encapsulada conjunta (CPO)NVLink FusionArquitetura modular MGXQuantização de modelosParalelismo de tensoresComunicação coletivaFábrica de IACircuito líquidoIndicador de eficiência energética PUETensorRT-LLMMotor de inferência vLLMAdaptação de baixo rank LoRACanais de cadeia de suprimento de computaçãoCusto total de propriedade (TCO)Benchmarks de throughput de inferênciaDestilação de modelosCadeia de suprimento de energiaEconomia de tokensPipeline de dados de treinamentoMemória de vídeo GDDR7Família de conectores de alimentação (EPS/PCIe 8pin/12VHPWR/12V-2x6)Linha do tempo dos controles de exportação para a ChinaGuia de verificação de GPUs (nvidia-smi/GPU-Z)Otimização de inferência com TensorRTExecução de grafos com CUDA GraphsBiblioteca de comunicação coletiva NCCLFormato aberto de modelos ONNXFamília de gerações HBMTreinamento com precisão mistaGerações PCIeFamília de formatos de rackGuia de nomenclatura de modelos de GPUCircuito de mercado de GPUs usadasComparativo entre refrigerado a ar e refrigerado a líquidoSaúde da memória de vídeo e diagnóstico de falhasMemória de vídeo HBM4Interconexão UALinkFicha de modelo B300

Referências REFERENCES

  1. Site oficial da NVIDIA — páginas do produto Blackwell Ultra / HGX B300 https://www.nvidia.com/en-us/data-center/hgx/
  2. Dados de mercado e oferta: AIXX Exchange de Computação (faixa de cotações deste acervo)
Versões e erratas |Este verbete é mantido pela redação da AIXX Pedia, com rascunho assistido por IA e verificação factual humana. Atualizado em 20/10/2026 · versão v1.0 · todas as alterações ficam registradas e rastreáveis.
Esta base
Política editorialSobre esta base (declaração de interesses)canal de correções
Resumo da constituição editorial
Toda afirmação com fonteDefeitos sempre mencionados · erratas públicas e registradasEntradas pagas não são aceitasZero elementos de direcionamento e vendas nas entradasDados de mercado apenas como módulo de dados anexado
Família AIXX
AIXX PediaAIXX Exchange de ComputaçãoInformações AIXX
Fonte dos dados de mercado: AIXX Exchange de Computação · © 2026 AIXX Pedia · Produzido pela AIXX