SECTIONS
EDITIONS
NETWORK
AIXX Pedia Энциклопедия вычислительных мощностей

AIXX Pedia › Техническая концепция › Бенчмарки пропускной способности при выводе

Бенчмарки пропускной способности при выводе

INFERENCE BENCHMARK · Технический термин

Обзор OVERVIEW

Бенчмарк пропускной способности инференса (Inference Benchmark) — ключевой тест для оценки производительности GPU в инференсе: речь не о «запуске стандартной программы ради цифры», а о «замере пропускной способности и задержки на целевом GPU с реальной моделью, реальной точностью и реальным размером батча из вашей бизнес-задачи» — ценность бенчмарка в «близости к реальности», а не в «красивых цифрах».

Ключевые метрики: пропускная способность (tokens/s — количество сгенерированных токенов в секунду) определяет ёмкость сервиса; задержка (TTFT — задержка первого токена / ITL — задержка на токен) определяет пользовательский опыт; число параллельных запросов определяет способность к обслуживанию. При выборе оборудования ориентируйтесь на результаты тестирования комбинации «целевая модель + целевая точность + целевой батч» — а не на универсальные цифры производителя.

Ключевые цифры KEY NUMBERS

ПараметрЗначение / формат
Пропускная способностьtokens/s (токенов в секунду)
TTFTЗадержка первого токена (ключевая для восприятия пользователем)
ITLЗадержка на токен (показатель плавности)
Критерий Пройдено≥80% публичного бенчмарка (судебная практика фреймворка)

Значение для B300 ON B300

Бенчмарк пропускной способности FP4-инференса на B300 — закупщику следует прогнать бенчмарк на B300 с реальной моделью, реальной точностью и реальным батчем своей бизнес-задачи — демонстрационные цифры производителя не могут служить основанием для закупки. Рекомендуемые инструменты: vLLM benchmark_serving / TensorRT-LLM benchmark / MLPerf Inference.

Границы и оговорки LIMITS

  • Ловушки в методике подсчёта цифр бенчмарка: заявленная производителем пропускная способность обычно «максимально теоретическая» — под реальной бизнес-нагрузкой она может составлять лишь 50–80% от заявленной (в зависимости от размера батча / длины контекста / стратегии точности).
  • Различия инструментов бенчмарка: разные инструменты (vLLM benchmark / MLPerf / TensorRT-LLM benchmark) используют разные методики тестирования — для кросс-инструментального сравнения нужна единая методика.
  • Бенчмарк не заменяет POC: цифры бенчмарка — лишь отправная точка — только реальный бизнес-POC (Proof of Concept) проверит работу от начала до конца (включая пайплайн данных / пре- и постобработку / мониторинг эксплуатации).

Видеообзор VIDEO

Видеопамять HBM3eИнтерконнект NVLinkSXM / NVL8Жидкостное охлаждение с холодной плитой / CDUФормат точности FP8MoE(смесь экспертов)Коммутационный чип NVSwitchСеть на базе InfiniBandХранилище NVMeЖидкостное охлаждение CDURDMA — удалённый прямой доступ к памятиGPUDirectTensor CoreMIG (Multi-Instance GPU)PCIe Gen5Конфиденциальные вычисленияВиртуальный GPU vGPUМикроформаты с плавающей точкой FP4 / FP6Кэш вывода KV CacheScale-up и Scale-outСовмещённая оптика CPONVLink FusionМодульная архитектура MGXКвантизация моделейТензорный параллелизмКоллективные коммуникацииAI-фабрикаКонтур жидкостного охлажденияПоказатель энергоэффективности PUETensorRT-LLMДвижок вывода vLLMLoRA — низкоранговая адаптацияКаналы поставок вычислительной техникиСовокупная стоимость владения TCOДистилляция моделейЦепочка энергоснабженияЭкономика токеновКонвейер обучающих данныхСтек оптимизации выводаВидеопамять GDDR7Семейство разъёмов питания (EPS/PCIe 8pin/12VHPWR/12V-2x6)Хронология экспортного контроляРуководство по проверке GPU (nvidia-smi/GPU-Z)Оптимизация вывода TensorRTВыполнение графов CUDA GraphsБиблиотека коллективных коммуникаций NCCLОткрытый формат моделей ONNXПоколения памяти HBMОбучение со смешанной точностьюПоколения PCIeСемейство форм-факторов стоекРазбор правил именования моделей GPUЦепочка оборота подержанных GPUСравнение систем с воздушным и жидкостным охлаждениемДиагностика здоровья и неисправностей видеопамятиПамять HBM4Интерконнект UALinkСтатья о модели B300

Источники REFERENCES

  1. Официальный сайт NVIDIA — страница продукта Blackwell Ultra / HGX B300 https://www.nvidia.com/en-us/data-center/hgx/
  2. Рыночные данные и предложения в наличии: AIXX Exchange (полоса рыночных данных базы)
Версии и исправления |Статья поддерживается редакцией AIXX Pedia: черновик подготовлен ИИ, факты проверены вручную. Обновлено 21.10.2026 · версия v1.0 · все изменения сохраняются и доступны для проверки.
Энциклопедия
Редакционная политикаО энциклопедии (декларация интересов)канал исправлений
Кратко о редакционном уставе
Каждое утверждение с источникомНедостатки обязательны · исправления публичныПлатные статьи не принимаютсяНоль рекламы и продаж внутри статейРыночные данные подключаются только как модуль данных
Семейство AIXX
AIXX PediaAIXX ExchangeAIXX News
Источник рыночных данных: AIXX Exchange · © 2026 AIXX Pedia · Продукт AIXX