SECTIONS
EDITIONS
NETWORK
AIXX Pedia A enciclopédia do universo da computação

AIXX Pedia › Conceito técnico › Motor de inferência vLLM

Motor de inferência vLLM

vLLM · Verbete técnico

Visão geral OVERVIEW

O vLLM é atualmente o motor de inferência open-source para grandes modelos mais popular: sua inovação central é o PagedAttention (gerencia o KV Cache em páginas, como a memória virtual de um sistema operacional) — elevando substancialmente a utilização da memória de vídeo e o throughput em concorrência. Suporta Continuous Batching (batching dinâmico), Tensor Parallelism e inferência com quantização (GPTQ/AWQ/FP8) — foi o vLLM que transformou a escolha de um framework de inferência de um domínio proprietário da NVIDIA (TensorRT-LLM) em um leque de opções open-source.

O que importa para compradores: o desempenho do vLLM impacta diretamente a escolha da GPU — com o mesmo hardware, versões e configurações diferentes do vLLM podem gerar até 2x de diferença de throughput. Antes de comprar, rodar benchmarks com o modelo-alvo e a versão-alvo do vLLM é um passo obrigatório na seleção. O vLLM suporta tanto CUDA (NVIDIA) quanto ROCm (AMD) — ao comparar entre os dois campos, ele serve como a mesma base da pilha de inferência.

Números-chave KEY NUMBERS

ItemValores / critério
Inovação centralPagedAttention (gerenciamento paginado do KV Cache)
Hardware suportadoNVIDIA CUDA + AMD ROCm
Capacidade de concorrênciaContinuous Batching (batching dinâmico)
Código abertoApache 2.0

Significado no B300 ON B300

O suporte do vLLM ao B300 amadurece junto com o ecossistema CUDA/Blackwell — os caminhos de inferência com quantização FP8/FP4 exigem a versão mais recente do vLLM e do modelo. Antes de comprar, rode benchmarks (throughput/latência/concorrência) com o modelo-alvo e a versão mais recente do vLLM — os dados de benchmark são a base sólida da decisão de compra.

Limites e observações LIMITS

  • O vLLM itera em ritmo acelerado: praticamente há uma nova versão por semana — a estratégia de atualização em ambiente de produção exige cautela (ganhos de desempenho de recursos novos vs. riscos de estabilidade).
  • A configuração de TP em múltiplas GPUs é sensível: o grau de TP, a topologia de GPU, o tamanho de batch e outros parâmetros afetam bastante o throughput — não existe «configuração universal», e o ajuste por modelo é indispensável.
  • Cobertura de modelos: o vLLM suporta os principais modelos open-source — mas o suporte a arquiteturas específicas (como o roteamento de especialistas em MoE) pode ficar atrás do lançamento do modelo.

Vídeo explicativo VIDEO

Memória HBM3eInterconexão NVLinkSXM / NVL8Refrigeração líquida por placa fria / CDUFormato de precisão FP8MoE (Mixture of Experts)Chip de switch NVSwitchRede de interconexão InfiniBandArmazenamento NVMeRefrigerado a líquido CDUAcesso remoto direto à memória (RDMA)GPUDirectTensor CoreMIG (Multi-Instance GPU)PCIe Gen5Computação confidencialGPU virtual vGPUPrecisão de ponto flutuante reduzida FP4 / FP6Cache de inferência KV CacheScale-up e Scale-outÓptica encapsulada conjunta (CPO)NVLink FusionArquitetura modular MGXQuantização de modelosParalelismo de tensoresComunicação coletivaFábrica de IACircuito líquidoIndicador de eficiência energética PUETensorRT-LLMAdaptação de baixo rank LoRACanais de cadeia de suprimento de computaçãoCusto total de propriedade (TCO)Benchmarks de throughput de inferênciaDestilação de modelosCadeia de suprimento de energiaEconomia de tokensPipeline de dados de treinamentoStack de otimização de inferênciaMemória de vídeo GDDR7Família de conectores de alimentação (EPS/PCIe 8pin/12VHPWR/12V-2x6)Linha do tempo dos controles de exportação para a ChinaGuia de verificação de GPUs (nvidia-smi/GPU-Z)Otimização de inferência com TensorRTExecução de grafos com CUDA GraphsBiblioteca de comunicação coletiva NCCLFormato aberto de modelos ONNXFamília de gerações HBMTreinamento com precisão mistaGerações PCIeFamília de formatos de rackGuia de nomenclatura de modelos de GPUCircuito de mercado de GPUs usadasComparativo entre refrigerado a ar e refrigerado a líquidoSaúde da memória de vídeo e diagnóstico de falhasMFU (taxa de utilização computacional do modelo)Memória DDR5Memória de vídeo HBM4Interconexão UALinkFicha de modelo B300

Referências REFERENCES

  1. Site oficial da NVIDIA — páginas do produto Blackwell Ultra / HGX B300 https://www.nvidia.com/en-us/data-center/hgx/
  2. Dados de mercado e de circulação: AIXX Exchange de Poder Computacional (faixa de cotações deste acervo)
Versões e erratas |Esta entrada é mantida pela equipe editorial da AIXX Pedia, com redação assistida por IA e verificação de fatos por humanos. Atualizada em 31/10/2026 · Versão v1.0 · Todas as alterações anteriores ficam registradas e consultáveis.
Esta base
Política editorialSobre esta base (declaração de interesses)canal de correções
Resumo da constituição editorial
Toda afirmação com fonteDefeitos sempre mencionados · erratas públicas e registradasEntradas pagas não são aceitasZero elementos de direcionamento e vendas nas entradasDados de mercado apenas como módulo de dados anexado
Família AIXX
AIXX CloudAIXX Exchange de Poder ComputacionalCotações de mercado AIXXInformações AIXX
Panorama do mercado: AIXX Exchange de Poder Computacional · © 2026 AIXX Pedia · Produzido pela AIXX