AIXX Pedia › Conceito técnico › Motor de inferência vLLM
O vLLM é atualmente o motor de inferência open-source para grandes modelos mais popular: sua inovação central é o PagedAttention (gerencia o KV Cache em páginas, como a memória virtual de um sistema operacional) — elevando substancialmente a utilização da memória de vídeo e o throughput em concorrência. Suporta Continuous Batching (batching dinâmico), Tensor Parallelism e inferência com quantização (GPTQ/AWQ/FP8) — foi o vLLM que transformou a escolha de um framework de inferência de um domínio proprietário da NVIDIA (TensorRT-LLM) em um leque de opções open-source.
O que importa para compradores: o desempenho do vLLM impacta diretamente a escolha da GPU — com o mesmo hardware, versões e configurações diferentes do vLLM podem gerar até 2x de diferença de throughput. Antes de comprar, rodar benchmarks com o modelo-alvo e a versão-alvo do vLLM é um passo obrigatório na seleção. O vLLM suporta tanto CUDA (NVIDIA) quanto ROCm (AMD) — ao comparar entre os dois campos, ele serve como a mesma base da pilha de inferência.
| Item | Valores / critério |
|---|---|
| Inovação central | PagedAttention (gerenciamento paginado do KV Cache) |
| Hardware suportado | NVIDIA CUDA + AMD ROCm |
| Capacidade de concorrência | Continuous Batching (batching dinâmico) |
| Código aberto | Apache 2.0 |
O suporte do vLLM ao B300 amadurece junto com o ecossistema CUDA/Blackwell — os caminhos de inferência com quantização FP8/FP4 exigem a versão mais recente do vLLM e do modelo. Antes de comprar, rode benchmarks (throughput/latência/concorrência) com o modelo-alvo e a versão mais recente do vLLM — os dados de benchmark são a base sólida da decisão de compra.