SECTIONS
EDITIONS
NETWORK
AIXX Pedia La enciclopedia del mundo del cómputo

AIXX Pedia › Concepto técnico › Benchmarks de rendimiento de inferencia

Benchmarks de rendimiento de inferencia

INFERENCE BENCHMARK · Ficha técnica

Resumen OVERVIEW

El benchmark de rendimiento de inferencia es la prueba fundamental para evaluar el rendimiento de inferencia de una GPU: no consiste en «ejecutar un software estándar y ver la puntuación», sino en «medir el throughput y la latencia en la GPU objetivo usando el modelo real, la precisión real y el tamaño de lote real del negocio». El valor del benchmark está en su cercanía a la realidad, no en números vistosos.

Métricas clave: el throughput (tokens/s, tokens generados por segundo) determina la capacidad del servicio; la latencia (TTFT, latencia del primer token / ITL, latencia por token) determina la experiencia del usuario; la concurrencia determina la capacidad de servicio. El benchmark de referencia para el comprador debe ser la medición real con la combinación «modelo objetivo + precisión objetivo + tamaño de lote objetivo», no los benchmarks genéricos publicados por el fabricante.

Cifras clave KEY NUMBERS

ConceptoValor / criterio
Throughputtokens/s (tokens generados por segundo)
TTFTLatencia del primer token (núcleo de la percepción del usuario)
ITLLatencia por token (indicador de fluidez)
Umbral Aprobado≥ 80% del benchmark público (criterio del marco de precedentes)

Su relevancia en el B300 ON B300

Benchmark de throughput de inferencia FP4 del B300: el comprador debe ejecutar su propio benchmark en el B300 con el modelo real, la precisión real y el tamaño de lote real de su negocio. Las cifras de las demostraciones del fabricante no pueden servir de base para la compra. Herramientas recomendadas: vLLM benchmark_serving / TensorRT-LLM benchmark / MLPerf Inference.

Límites y advertencias LIMITS

  • Trampas en el criterio de medición: el throughput anunciado por el fabricante suele ser el «máximo teórico» — bajo carga real de negocio, el throughput puede ser solo del 50-80% del valor nominal (según el tamaño de lote, la longitud del contexto y la estrategia de precisión).
  • Diferencias entre herramientas: cada herramienta de benchmark (vLLM benchmark / MLPerf / TensorRT-LLM benchmark) usa metodologías distintas — las comparaciones entre herramientas exigen unificar el criterio de medición.
  • El benchmark no sustituye al POC: las cifras del benchmark son solo el punto de partida — solo un POC (Proof of Concept) real del negocio puede validar el rendimiento de extremo a extremo (incluyendo el pipeline de datos, el pre/postprocesamiento y la monitorización operativa).

Vídeo explicativo VIDEO

Memoria HBM3eInterconexión NVLinkSXM / NVL8refrigeración líquida por placa fría / CDUFormato de precisión FP8MoE (mezcla de expertos)Chip conmutador NVSwitchRed de interconexión InfiniBandAlmacenamiento NVMeCDU de refrigerado por líquidoAcceso remoto directo a memoria RDMAGPUDirectTensor CoreGPU multi-instancia MIGPCIe Gen5Computación confidencialGPU virtual vGPUPrecisión de punto flotante reducida FP4 / FP6Caché de inferencia KV CacheScale-up y Scale-outÓptica copackaged CPONVLink FusionArquitectura modular MGXCuantización de modelosParalelismo de tensoresComunicaciones colectivasFábrica de IACircuito de refrigeración líquidaIndicador de eficiencia energética PUETensorRT-LLMMotor de inferencia vLLMAdaptación de bajo rango LoRACadena de suministro de cómputoCoste total de propiedad (TCO)Destilación de modelosCadena de suministro de energíaEconomía del tokenPipeline de datos de entrenamientoStack de optimización de inferenciaMemoria de vídeo GDDR7Familia de conectores de alimentación (EPS/PCIe 8pin/12VHPWR/12V-2x6)Cronología de los controles de exportación hacia ChinaGuía de verificación de GPU (nvidia-smi/GPU-Z)Optimización de inferencia con TensorRTEjecución por grafos con CUDA GraphsBiblioteca de comunicación colectiva NCCLFormato abierto de modelos ONNXGenealogía de generaciones HBMEntrenamiento en precisión mixtaGeneraciones de PCIeGenealogía de formatos de rackGuía de nomenclatura de modelos de GPUCircuito de comercialización de GPU de segunda manoComparativa entre refrigerado por aire y refrigerado por líquidoSalud de la memoria de vídeo y diagnóstico de fallosMemoria de vídeo HBM4Interconexión UALinkFicha de modelo B300

Referencias REFERENCES

  1. Sitio oficial de NVIDIA — Página del producto Blackwell Ultra / HGX B300 https://www.nvidia.com/en-us/data-center/hgx/
  2. Datos de mercado y disponibilidad: AIXX Exchange (franja de mercado de esta base)
Versiones y correcciones |Esta ficha está mantenida por el equipo editorial de AIXX Pedia, redactada con asistencia de IA y verificada por humanos. Actualizada el 2026-10-20 · versión v1.0 · todos los cambios quedan registrados y son consultables.
Esta base
Política editorialSobre esta base (declaración de intereses)canal de correcciones
Resumen de la constitución editorial
Cada afirmación con fuenteDefectos siempre indicados · correcciones públicas y trazablesNo se aceptan entradas pagadasCero elementos de captación o venta dentro de las entradasLos datos de cotización solo se montan como módulo de datos
Familia AIXX
AIXX PediaAIXX ExchangeAIXX Noticias
Fuente de datos de cotización: AIXX Exchange · © 2026 AIXX Pedia · una producción de AIXX