AIXX Pedia › Concepto técnico › Benchmarks de rendimiento de inferencia
El benchmark de rendimiento de inferencia es la prueba fundamental para evaluar el rendimiento de inferencia de una GPU: no consiste en «ejecutar un software estándar y ver la puntuación», sino en «medir el throughput y la latencia en la GPU objetivo usando el modelo real, la precisión real y el tamaño de lote real del negocio». El valor del benchmark está en su cercanía a la realidad, no en números vistosos.
Métricas clave: el throughput (tokens/s, tokens generados por segundo) determina la capacidad del servicio; la latencia (TTFT, latencia del primer token / ITL, latencia por token) determina la experiencia del usuario; la concurrencia determina la capacidad de servicio. El benchmark de referencia para el comprador debe ser la medición real con la combinación «modelo objetivo + precisión objetivo + tamaño de lote objetivo», no los benchmarks genéricos publicados por el fabricante.
| Concepto | Valor / criterio |
|---|---|
| Throughput | tokens/s (tokens generados por segundo) |
| TTFT | Latencia del primer token (núcleo de la percepción del usuario) |
| ITL | Latencia por token (indicador de fluidez) |
| Umbral Aprobado | ≥ 80% del benchmark público (criterio del marco de precedentes) |
Benchmark de throughput de inferencia FP4 del B300: el comprador debe ejecutar su propio benchmark en el B300 con el modelo real, la precisión real y el tamaño de lote real de su negocio. Las cifras de las demostraciones del fabricante no pueden servir de base para la compra. Herramientas recomendadas: vLLM benchmark_serving / TensorRT-LLM benchmark / MLPerf Inference.