Карточка характеристик SPEC CARD
NVIDIA L4
Основная низкопотребляющая карта для инференса, большие объёмы доступных поставок в Китае, типичный представитель длинного хвоста карт класса B

Официальное изображение NVIDIA
Реальные фото
Фотография образца
Обзор
NVIDIA L4 — энергоэффективная датацентровая GPU для сценариев инференса на чипе AD104, выполненная в однопроцессорном low-profile формате с интерфейсом PCIe. Карта оснащена 24 ГБ видеопамяти с пропускной способностью 300 ГБ/с, производительностью FP32 30,3 терафлопс и до 485 терафлопс на FP8 Tensor Core. TDP составляет всего 72 Вт, что позволяет массово разворачивать её в обычных серверах; она широко применяется в задачах, чувствительных к энергоэффективности: инференс больших языковых моделей, обработка изображений и видео.
Ключевые характеристики
| Память | 24 GB GDDR6 |
| Пропускная способность памяти | 300 GB/s |
| Производительность FP32 | 30.3 teraFLOPS |
| Производительность FP8 | 485 teraFLOPS |
| TDP, энергопотребление | 72 W |
| Интерконнект | PCIe Gen4 x16 |
| Форм-фактор | 1-slot low-profile |
| Кодеки | NVENC 2 | NVDEC 4 | JPEG 4 |
Характеристики сверены с официальными материалами (
Официальные бенчмарки , обновлено 2026-10-09) · Фактическая цена определяется предложением продавца
Сценарии применения
- Сервисы инференса LLM: 24 ГБ видеопамяти позволяют размещать несколько экземпляров моделей среднего масштаба, а FP8/INT8 Tensor Core обеспечивают высокую пропускную способность квантизованного инференса
- Транскодирование видео и обработка изображений: 2 блока NVENC, 4 NVDEC и 4 декодера JPEG — подходит для видео по запросу, транскодирования стримов и пакетной обработки изображений
- Энергоэффективное размещение высокой плотности: TDP 72 Вт и однопроцессорный low-profile формат позволяют устанавливать карту в универсальные серверные шасси с ограниченным питанием и охлаждением, повышая плотность GPU на один сервер
- Рекомендуемые задачи: системные сервисы и онлайн-API инференса: PCIе Gen4 x16 (64 ГБ/с) удовлетворяет потребности в обмене данными при инференсе на одном сервере, что делает карту подходящей для бэкенда онлайн-сервисов
Модели семейства
| Модель | Память | Потребление |
|---|
| NVIDIA T4 Сравнение | 16 ГБ GDDR6 с ECC (включена по умолчанию) | 70 Вт (общая потребляемая мощность платы, по умолчанию) |
| NVIDIA A100 Сравнение | Две версии: 40 ГБ HBM2 / 80 ГБ HBM2e (80 ГБ — дополнительный анонс на SC20 2020-11-16), с ECC | SXM4 400 Вт (одинаково для 40 ГБ/80 ГБ); PCIe-версия: 40 ГБ — 250 Вт / 80 ГБ — 300 Вт |
| NVIDIA H20 Сравнение | 96 ГБ HBM3 (три источника сходятся: Flopper/VipraTech/Новости Tencent) | TDP 400 Вт (три источника: Flopper/таблица спецификаций VipraTech/'тепловой дизайн-пакет 400 Вт' в новостях Tencent; противоречивая цифра 350 Вт из основного текста VipraTech отброшена) |
| NVIDIA GB300 Сравнение | 288 ГБ HBM3e (на один GPU-пакет; 576 ГБ в суперчипе; параллельно существуют значения 2,1 ТБ для платы HGX и 20 ТБ на стойку) | TGP до 1400 Вт |
| NVIDIA A30 Сравнение | 24 GB HBM2 | 165 W |
| NVIDIA GeForce RTX 4090 Сравнение | 24GB GDDR6X | 450 Вт TGP (в среднем в играх 315 Вт, рекомендуемый блок питания 850 Вт) |
Видеообзор VIDEO
Покупка и проверка: на что обратить внимание
- L4 выполнена в однопроцессорном low-profile формате с TDP 72 Вт и, как правило, не требует специального модуля охлаждения или доработки питания, однако следует проверить совместимость шасси с low-profile картами, физическое расположение слотов PCIe и организацию воздушных потоков
- Карта использует PCIe Gen4 x16 вместо NVLink и не поддерживает высокоскоростное прямое соединение нескольких карт, поэтому перед закупкой стоит убедиться, что задачи не требуют межкарточных соединений для обучения; для инференса влияние минимально
- Обратите внимание: пропускная способность памяти составляет 300 ГБ/с, что ниже, чем у старших датацентровых карт того же поколения. При развёртывании больших моделей, чувствительных к пропускной способности памяти, оценивайте пропускную способность одной карты с учётом размера модели и конкурентной нагрузки, а не экстраполируйте реальную производительность инференса линейно от FP32
Частые вопросы
Какие большие модели способен инференсить NVIDIA L4?
L4 оснащена 24 ГБ видеопамяти, чего достаточно для полного размещения большинства моделей масштаба нескольких миллиардов параметров или, с помощью квантизации (например FP8/INT8), более крупных моделей. Для сверхбольших моделей обычно требуется тензорный параллелизм с распределением по нескольким картам, но L4 использует PCIe Gen4 x16 (64 ГБ/с), где пропускная способность межкарточного обмена ниже, чем у решений на NVLink, — реальную задержку инференса нужно оценивать отдельно.
У L4 мощность всего 72 Вт — не будет ли не хватать производительности?
TDP 72 Вт означает, что это карта для инференса с приоритетом энергоэффективности, а не для обучения. Производительность FP8 Tensor Core достигает 485 терафлопс, INT8 — 485 TOPs, а низкое энергопотребление позволяет размещать её с высокой плотностью в универсальных серверах. Она подходит для инференса и обработки видео, но не для крупномасштабного обучения.
Можно ли установить L4 в обычный сервер 1U/2U?
Да. L4 выполнена в однопроцессорном low-profile дизайне, питание и обмен данными идут через PCIe, без дополнительных кабелей питания, поэтому требования к совместимости с шасси невысоки. При установке главное — обеспечить воздушный поток у слота и убедиться, что материнская плата имеет слот PCIe Gen4 x16 для полного использования полосы 64 ГБ/с.