Карточка характеристик SPEC CARD
NVIDIA H100 SXM
Фактический стандарт среди ускорителей для ИИ-обучения — ядро DGX/HGX H100, основа кластеров из десятков тысяч GPU, самая твёрдая валюта вторичного рынка фьючерсных поставок и лидер по сохранности стоимости
Обзор
NVIDIA H100 SXM — вычислительный ускоритель для дата-центров на архитектуре Hopper, ключевой компонент систем DGX и HGX H100 и фактический стандарт оборудования для масштабного ИИ-обучения. Выполнена в форм-факторе SXM5 с 80 ГБ памяти HBM3, обеспечивает пропускную способность интерконнекта GPU-GPU 900 ГБ/с через NVLink четвёртого поколения и нативно поддерживает PCIe Gen5. Tensor Core покрывают точности от FP64 до FP8, а технология MIG позволяет делить карту до семи экземпляров. Ускоритель массово применяется для предобучения больших моделей, инференса и HPC-кластеров, а на вторичном рынке демонстрирует высокую сохранность стоимости из-за дефицита предложения.
Ключевые характеристики
| Архитектура | NVIDIA Hopper (ядро GH100, кастомный техпроцесс TSMC 4N, 80 млрд транзисторов, 814 мм², Compute Capability 9.0) |
| Память | 80 ГБ HBM3 (версия SXM5, 5 стека HBM3); PCIe-версия — 80 ГБ HBM2e (5 стеков, 2 ТБ/с) |
| Разрядность шины памяти | 5120 бит (и SXM5, и PCIe-версия: 10 контроллеров памяти по 512 бит) |
| Пропускная способность памяти | 3,35 ТБ/с (SXM5); PCIe-версия — 2 ТБ/с |
| Вычислительная мощность | FP8 Tensor Core 3958 TFLOPS (со sparsity, плотно 1979); FP16/BF16 TC 1979*; TF32 TC 989*; FP64 TC 67; FP32 67; FP64 34 (версия SXM5, *=With sparsity) |
| Потребление | До 700 Вт (SXM5, конфигурируемо); PCIe-версия — 350 Вт |
| Интерконнект | NVLink 4.0 900 ГБ/с (SXM5, 18 линков) + PCIe Gen5 x16 128 ГБ/с; PCIe-версия: PCIe Gen5 128 ГБ/с, опциональный NVLink-мост на две карты 600 ГБ/с |
| Год выпуска | 2022 (анонс на GTC 22.03.2022, SXM5 в продаже с Q3 2022) |
| SM и CUDA-ядра | 132 SM / 16 896 CUDA-ядер FP32 (SXM5); PCIe-версия — 114 SM / 14 592 |
| Частота ускорения | SXM5: 1830 МГц (FP8/FP16/BF16/TF32 TC) / 1980 МГц (FP64 TC и FP32/FP64); PCIe-версия: 1620/1755 МГц |
| Кэш L2 | 50MB |
| Разделение MIG | Secure MIG второго поколения, до 7 экземпляров по 10 ГБ |
| Кодеки | 7 NVDEC + 7 NVJPG |
| Форм-фактор | Модуль SXM5 (с жидкостным охлаждением или с воздушным охлаждением — зависит от системы, в составе HGX/DGX H100 на 4 или 8 карт); PCIe-версия — двухслотовая карта с воздушным охлаждением |
Характеристики сверены с официальными материалами (
Официальные бенчмарки , обновлено 2026-10-10) · Фактическая цена определяется предложением продавца
Сценарии применения
- Предобучение больших языковых моделей: как ядро узлов HGX/DGX H100 через NVLink и NVSwitch формирует кластеры от нескольких карт до десятков тысяч GPU для длительного обучения моделей с огромным числом параметров
- Инференс больших моделей: возможности ускорения на FP8 и INT8 Tensor Core и разделение через MIG обеспечивают вычислительные ресурсы для высококонкурентного онлайн-инференса и мультиарендных сценариев
- Научные вычисления и HPC: производительность двойной точности и FP64 Tensor Core обслуживает классические HPC-нагрузки — вычислительную гидродинамику, молекулярную динамику, климатическое моделирование
- Обучение и дообучение мультимодальных моделей: несколько блоков NVDEC делают карту подходящей для пайплайнов обучения на текстово-графических и видеоданных, а также медиаобработки
Модели семейства
| Модель | Память | Потребление |
|---|
| NVIDIA T4 Сравнение | 16 ГБ GDDR6 с ECC (включена по умолчанию) | 70 Вт (общая потребляемая мощность платы, по умолчанию) |
| NVIDIA A100 Сравнение | Две версии: 40 ГБ HBM2 / 80 ГБ HBM2e (80 ГБ — дополнительный анонс на SC20 2020-11-16), с ECC | SXM4 400 Вт (одинаково для 40 ГБ/80 ГБ); PCIe-версия: 40 ГБ — 250 Вт / 80 ГБ — 300 Вт |
| NVIDIA H20 Сравнение | 96 ГБ HBM3 (три источника сходятся: Flopper/VipraTech/Новости Tencent) | TDP 400 Вт (три источника: Flopper/таблица спецификаций VipraTech/'тепловой дизайн-пакет 400 Вт' в новостях Tencent; противоречивая цифра 350 Вт из основного текста VipraTech отброшена) |
| NVIDIA GB300 Сравнение | 288 ГБ HBM3e (на один GPU-пакет; 576 ГБ в суперчипе; параллельно существуют значения 2,1 ТБ для платы HGX и 20 ТБ на стойку) | TGP до 1400 Вт |
| NVIDIA A30 Сравнение | 24 GB HBM2 | 165 W |
| NVIDIA GeForce RTX 4090 Сравнение | 24GB GDDR6X | 450 Вт TGP (в среднем в играх 315 Вт, рекомендуемый блок питания 850 Вт) |
Видеообзор VIDEO
Покупка и проверка: на что обратить внимание
- Форм-фактор и планирование питания: H100 SXM — меzzanin-дизайн, несовместимый с обычными PCIe-корпусами; придётся покупать систему DGX/HGX целиком или сервер с плательщем SXM5. Энергопотребление системы высокое — заранее проверьте мощность питания ЦОД, плотность мощности стойки и соответствие системы охлаждения (с жидкостным охлаждением или с воздушным охлаждением)
- Проверка интерконнекта и сети: работа нескольких карт опирается на NVLink четвёртого поколения и NVSwitch с пропускной способностью интерконнекта 900 ГБ/с; при приёмке проверьте на каждой карте исправность SXM-платформы и модулей NVSwitch, а также согласование линков PCIe Gen5, чтобы не столкнуться с проблемами при масштабировании кластера
- Проверка происхождения и состояния: сделки на вторичном рынке и по фьючерсным поставкам часты — сверьте серийные номера и гарантийный статус у производителя, запросите скриншоты реального теста (nvidia-smi: модель, 80 ГБ памяти, доступность MIG), проведите длительный стресс-тест на скрытые дефекты памяти и охлаждения, проверьте целостность NVLink-топологии
Частые вопросы
Чем H100 SXM отличается от H100 PCIe и что выбрать?
Версия SXM — меzzanin-форм-фактор с интерконнектом GPU-GPU 900 ГБ/с через NVLink и более высокими характеристиками Tensor Core, подходит для масштабных обучающих кластеров с несколькими картами. PCIe-версия — стандартная двухслотовая карта с воздушным охлаждением, с опциональным NVLink-мостом (две карты, меньшая пропускная способность), с лучшей совместимостью и более низким порогом внедрения — для одиночных серверов и небольших сценариев. Для масштабируемости кластера и пиковой производительности — SXM, для гибкого развёртывания — PCIe.
Поддерживает ли H100 разделение MIG? На сколько пользователей можно поделить одну карту?
Да. Функция MIG в H100 SXM позволяет разделить карту максимум на 7 экземпляров, каждому можно выделить по 10 ГБ памяти — подходит для инференса, разработки и тестирования в мультиарендных сценариях, обеспечивая изоляцию вычислений и повышение утилизации.
Стоит ли покупать б/у H100? Какова сохранность стоимости?
H100 — сегодня основная железка для масштабного ИИ-обучения, спрос стабильно высок; на вторичном рынке её цены заметно устойчивее, чем у большинства одновозрастного железа, — её считают категорией с высокой сохранностью стоимости. При покупке обязательно проверьте легальность происхождения, гарантийный статус и состояние железа (память, NVLink, охлаждение) и подтверждайте характеристики и состояние реальным тестом перед сделкой.