SECTIONS
EDITIONS
NETWORK
AIXX Pedia A enciclopédia do universo da computação

AIXX Pedia › Conceito técnico › Benchmarks de throughput de inferência

Benchmarks de throughput de inferência

INFERENCE BENCHMARK · Verbete técnico

Visão geral OVERVIEW

O benchmark de throughput de inferência (Inference Benchmark) é o teste central para avaliar o desempenho de inferência de uma GPU: não se trata de «executar um software padrão e olhar a pontuação», mas de «medir throughput e latência na GPU-alvo com o modelo real, a precisão real e o batch real do negócio em questão» — o valor do benchmark está em «aproximar-se da realidade», não em «ter números bonitos».

Métricas centrais: o throughput (tokens/s, número de tokens gerados por segundo) determina a capacidade do serviço; a latência (TTFT — latência até o primeiro token / ITL — latência por token) determina a experiência do usuário; o número de conexões concorrentes determina a capacidade de atendimento. O benchmark de referência para a decisão de compra deve ser um teste real da combinação «modelo-alvo + precisão-alvo + batch-alvo» — e não os resultados genéricos divulgados pelo fabricante.

Números-chave KEY NUMBERS

ItemValores / critério
Throughputtokens/s (número de tokens gerados por segundo)
TTFTLatência até o primeiro token (núcleo da percepção do usuário)
ITLLatência por token (indicador de fluidez)
Linha de aprovação≥ 80% do benchmark público (critério da estrutura de jurisprudência)

Significado no B300 ON B300

Benchmark de throughput de inferência FP4 do B300 — o comprador deve rodar o benchmark no B300 com o modelo real, a precisão real e o batch real do seu negócio — os números de demonstração do fabricante não podem servir de base para a compra. Ferramentas recomendadas: vLLM benchmark_serving / TensorRT-LLM benchmark / MLPerf Inference.

Limites e observações LIMITS

  • Armadilhas de critério nos números de benchmark: o throughput divulgado pelo fabricante costuma ser o «valor teórico máximo» — sob carga real de negócio, o throughput pode ficar entre apenas 50-80% do valor nominal (dependendo do tamanho do batch / do comprimento do contexto / da estratégia de precisão).
  • Diferenças entre ferramentas de benchmark: cada ferramenta (vLLM benchmark / MLPerf / TensorRT-LLM benchmark) usa metodologias distintas — comparações entre ferramentas exigem critérios unificados.
  • O benchmark não substitui o POC: os números do benchmark são apenas o ponto de partida — só um POC (Proof of Concept) real do negócio valida o desempenho ponta a ponta (incluindo pipeline de dados / pré e pós-processamento / monitoramento operacional).

Vídeo explicativo VIDEO

Memória HBM3eInterconexão NVLinkSXM / NVL8Refrigeração líquida por placa fria / CDUFormato de precisão FP8MoE (Mixture of Experts)Chip de switch NVSwitchRede de interconexão InfiniBandArmazenamento NVMeRefrigerado a líquido CDUAcesso remoto direto à memória (RDMA)GPUDirectTensor CoreMIG (Multi-Instance GPU)PCIe Gen5Computação confidencialGPU virtual vGPUPrecisão de ponto flutuante reduzida FP4 / FP6Cache de inferência KV CacheScale-up e Scale-outÓptica encapsulada conjunta (CPO)NVLink FusionArquitetura modular MGXQuantização de modelosParalelismo de tensoresComunicação coletivaFábrica de IACircuito líquidoIndicador de eficiência energética PUETensorRT-LLMMotor de inferência vLLMAdaptação de baixo rank LoRACanais de cadeia de suprimento de computaçãoCusto total de propriedade (TCO)Destilação de modelosCadeia de suprimento de energiaEconomia de tokensPipeline de dados de treinamentoStack de otimização de inferênciaMemória de vídeo GDDR7Família de conectores de alimentação (EPS/PCIe 8pin/12VHPWR/12V-2x6)Linha do tempo dos controles de exportação para a ChinaGuia de verificação de GPUs (nvidia-smi/GPU-Z)Otimização de inferência com TensorRTExecução de grafos com CUDA GraphsBiblioteca de comunicação coletiva NCCLFormato aberto de modelos ONNXFamília de gerações HBMTreinamento com precisão mistaGerações PCIeFamília de formatos de rackGuia de nomenclatura de modelos de GPUCircuito de mercado de GPUs usadasComparativo entre refrigerado a ar e refrigerado a líquidoSaúde da memória de vídeo e diagnóstico de falhasMemória de vídeo HBM4Interconexão UALinkFicha de modelo B300

Referências REFERENCES

  1. Site oficial da NVIDIA — páginas do produto Blackwell Ultra / HGX B300 https://www.nvidia.com/en-us/data-center/hgx/
  2. Dados de mercado e oferta: Bolsa de Cálculo AIXX (faixa de cotações deste acervo)
Versões e erratas |Este verbete é mantido pela redação da AIXX Pedia, com rascunho assistido por IA e verificação factual humana. Atualizado em 20/10/2026 · versão v1.0 · todas as alterações ficam registradas e rastreáveis.
Esta base
Política editorialSobre esta base (declaração de interesses)canal de correções
Resumo da constituição editorial
Toda afirmação com fonteDefeitos sempre mencionados · erratas públicas e registradasEntradas pagas não são aceitasZero elementos de direcionamento e vendas nas entradasDados de mercado apenas como módulo de dados anexado
Família AIXX
AIXX PediaBolsa de Cálculo AIXXNotícias AIXX
Fonte dos dados de mercado: Bolsa de Cálculo AIXX · © 2026 AIXX Pedia · Produzido pela AIXX