AIXX Pedia › Conceito técnico › Benchmarks de throughput de inferência
O benchmark de throughput de inferência (Inference Benchmark) é o teste central para avaliar o desempenho de inferência de uma GPU: não se trata de «executar um software padrão e olhar a pontuação», mas de «medir throughput e latência na GPU-alvo com o modelo real, a precisão real e o batch real do negócio em questão» — o valor do benchmark está em «aproximar-se da realidade», não em «ter números bonitos».
Métricas centrais: o throughput (tokens/s, número de tokens gerados por segundo) determina a capacidade do serviço; a latência (TTFT — latência até o primeiro token / ITL — latência por token) determina a experiência do usuário; o número de conexões concorrentes determina a capacidade de atendimento. O benchmark de referência para a decisão de compra deve ser um teste real da combinação «modelo-alvo + precisão-alvo + batch-alvo» — e não os resultados genéricos divulgados pelo fabricante.
| Item | Valores / critério |
|---|---|
| Throughput | tokens/s (número de tokens gerados por segundo) |
| TTFT | Latência até o primeiro token (núcleo da percepção do usuário) |
| ITL | Latência por token (indicador de fluidez) |
| Linha de aprovação | ≥ 80% do benchmark público (critério da estrutura de jurisprudência) |
Benchmark de throughput de inferência FP4 do B300 — o comprador deve rodar o benchmark no B300 com o modelo real, a precisão real e o batch real do seu negócio — os números de demonstração do fabricante não podem servir de base para a compra. Ferramentas recomendadas: vLLM benchmark_serving / TensorRT-LLM benchmark / MLPerf Inference.