AIXX Pedia › Статья категории инфраструктуры › NVMe-хранилище полного флеша

NVMe-хранилище полного флеша Это «третья нога» ИИ-кластера: помимо вычислений (GPU) и сети (NVLink/fabric) весь конвейер данных обучения и инференса — запись и чтение чекпоинтов, пропускная способность по обучающим датасетам, тиринг KV cache — лежит на слое хранения. Протокол NVMe (SSD напрямую по PCIe, в обход традиционных контроллеров SAS/SATA) + all-flash массивы + сеть NVMe-oF + GPUDirect Storage (данные идут напрямую из хранилища в память GPU, минуя копирование через CPU, по данным официальной документации NVIDIA[3]) — это стандартный элемент современного хранилища для AI.
Почему это стало необходимостью в AI-кластерах: checkpoint'ы кластеров на тысячу карт достигают десятков ТБ, обучающие датасеты измеряются сотнями ТБ — пропускной способности HDD или гибридных массивов не хватает для GPU, и каждая секунда ожидания GPU — это сожжённые впустую деньги на карту. NVMe-oF выводит производительность all-flash на уровень сети (RDMA напрямую[1]), а GPUDirect Storage убирает CPU из пути данных — эти две вещи определяют, будет ли слой хранения ускорителем или узким местом.
Эта статья — статья о выборе категории оборудования : обзор архитектуры хранения с точки зрения ИИ-кластера, параметров выбора, закупки и приёмки, без привязки к конкретному продукту. Единой рыночной цены на хранилища нет — Фактическая цена определяется предложением продавца.
AIXX Index (0–100): взвешенная оценка соответствия сценарию. 90+ — флагманский уровень · 75+ — Отлично · 60+ — пригодно · ниже 60 — неприменимо.
2011 год выход спецификации NVMe 1.0: SSD напрямую по PCIe, протокол, созданный для флеш-памяти, вытесняет канал SAS/SATA — протокольный фундамент all-flash массивов (отраслевая информация).
2016–2020 годы , мейнстрим all-flash-массивов: спецификация NVMe-oF выводит NVMe на уровень сети (RDMA напрямую), all-flash-массивы Dell/NetApp/Pure становятся новым стандартом корпоративного хранения, а GPU-кластеры начинают строиться на all-flash как на базе хранения (отраслевые данные[1]).
2020 год NVIDIA выпускает GPUDirect Storage : данные из хранилища по RDMA идут напрямую в память GPU, минуя CPU (по данным блога для разработчиков и официальной документации NVIDIA[2][3]) — закрыта «последняя миля» AI-хранилищ, экосистема CUDA расширяет позиции.
2023–2026 годы , стандартизация в AI-кластерах: потребности checkpoint'ов и пропускной способности при обучении больших моделей выводят хранилище на центральное место инфраструктуры — трёхуровневая схема «объектное озеро (холодные данные) + all-flash кэш (горячие данные) + GPUDirect passthrough» становится референсной архитектурой AI-хранилищ (по отраслевым референсным архитектурам[4]).
| Параметр | На что смотреть | Методика |
|---|---|---|
| Пропускная способность (ГБ/с) | Соответствие совокупной полосы чтения/записи скорости потребления GPU | Рассчитать от «объёма данных, потребляемых кластером в час», с запасом 30% (расчётная методика) |
| IOPS и задержка | Для сценариев с мелкими операциями (метаданные чекпоинтов, тиринг KV cache) смотрят IOPS и задержку P99 | Большая пропускная способность ≠ низкая задержка — две категории нагрузок рассматривать раздельно |
| Поддержка NVMe-oF | Расширение в сеть через RDMA (RoCE/IB) | Сверяться с сетевым планом кластера: IB-сеть — IB-RDMA, Ethernet — RoCE |
| GPUDirect Storage | Наличие массива/файловой системы в списке совместимости NVIDIA GDS | Ориентироваться на официальный список совместимости (по документации NVIDIA[3]) — для решений вне списка passthrough требует отдельной разработки |
| Параллельные файловые системы | Lustre/GPFS-семейство/собственные параллельные FS вендоров | Многочисленные GPU-узлы одновременно читают один датасет — параллельная полоса решает |
| Тиринг ёмкости | Три яруса: горячий (NVMe) / тёплый (гибрид) / холодный (объектные/лента) | All-flash только для горячих данных — стоимость ёмкости снижается за счёт тиринга |
| Защита данных | Erasure coding/реплики, снапшоты, DR на другой площадке | Страховочный трос для датасетов и чекпоинтов; уровень защиты — по ценности данных |
Методология отбора — систематизация на основе открытых архитектурных документов (данные на 2026-10)[1][3][4]; specifics уточняйте по документации производителя и реальным стресс-тестам.
| Ярус | Среда/формат | Что хранится | Ключевые метрики |
|---|---|---|---|
| Горячий ярус | NVMe all-flash массив / распределённый NVMe | Активные датасеты, чекпоинты, тиринг KV cache | Полоса + GPUDirect passthrough |
| Тёплый ярус | Гибрид / NVMe большой ёмкости | Недавние версии датасетов, промежуточные данные препроцессинга | Цена за ёмкость |
| Холодный ярус | Объектное хранилище / лента | Сырое дата-озеро, исторические архивы | Стоимость за единицу ёмкости |
Трёхуровневая архитектура — систематизация на основе открытых референсных архитектур[4]; политика распределения по уровням настраивается под жизненный цикл бизнес-данных.
Три типа игроков на рынке ИИ-хранилищ (компиляция базы, не рекомендация к закупке):
| Лагерь | Представители | Позиционирование и особенности |
|---|---|---|
| Корпоративные all-flash массивы | Dell PowerStore/PowerScale, NetApp AFF, Pure FlashArray//FlashBlade, Huawei OceanStor, Inspur серии AS | Полный набор корпоративной защиты данных и эксплуатационных процессов; ИИ-адаптация — по совместимости с GPUDirect и параллельной полосе (по открытым продуктовым линейкам) |
| ИИ-ориентированные хранилища | VAST Data, WEKA, VDURA и другие новые производители параллельных ФС | Создано для GPU-кластеров: параллельная FS + NVMe-тиринг + глубокая адаптация GDS (по референсной архитектуре[4]) |
| Собственные сборки/open source | Lustre, Ceph, JuiceFS и другие self-hosted решения | Для сверхбольших кластеров — максимальная управляемость, но оплата — труд эксплуатационщиков (по открытой экосистеме) |
Информация о производителях — компиляция по открытым продуктовым линейкам, конкретику смотреть в официальных материалах; сторона SSD-носителей (корпоративные NVMe Samsung/Solidigm/WD) — отдельное звено цепочки поставок, уже включено при закупке массива.

Фотографии накопителей добавляются по мере поступления партий проверки; ИИ-генерация не выдаётся за реальные фото.
Три шага запуска хранилища: Сверка fabric (сеть хранения на той же технологии, что и compute fabric: IB-кластер — IB-RDMA storage network, Ethernet — RoCE — смешанные маршруты требуют шлюзов и теряют и в задержке, и в полосе); Настройка GDS (развёртывание компонентов по официальной документации NVIDIA GDS[3] при условии, что массив есть в списке совместимости); Нагрузочное тестирование (тест полосы на реальных задачах обучения — заявленные спецификации ничего не значат, GPU ждать не будет, и это знает только нагрузочный тест).
Эксплуатационное замечание: метрики мониторинга слоя хранения (полоса/IOPS/задержка P99/заполнение ёмкости) смотреть на одном экране с мониторингом GPU-кластера — первый пункт диагностики при «аномально низкой утилизации GPU» — скорость подачи данных из хранилища (опыт эксплуатации базы).
Ключевые пункты приёмки ИИ-хранилища (три пункта):
Полный перечень из шести пунктов приёмки — в этой статье «Как проводить приёмку» этой статьи.
Шесть пунктов приёмки (рамка приёмки ИИ-хранилища): вскрытие и сверка → базовая полоса → GPUDirect passthrough → параллельное чтение → учения отказов → длительная интеграция.
Протокол хранения, созданный для флеш-памяти: SSD подключается напрямую к шине PCIe, высокая глубина очереди, низкая задержка — в отличие от SAS/SATA протокол раскрывает всю скорость флеш-памяти. NVMe SSD — базовый строительный блок полностью флешевых массивов.
NVMe over Fabrics: расширение протокола NVMe на сеть (транспорт RDMA поверх IB или RoCE) — сервер обращается к удалённому all-flash-массиву как к локальному диску, потери производительности минимальны (отраслевые данные[1]).
Технология прямого доступа к хранилищу NVIDIA: данные с NVMe/массива по RDMA идут прямо в память GPU, минуя копирование через CPU — ключевая технология ускорения загрузки обучающих данных и чтения/записи чекпоинтов (по официальной документации [3]).
Архитектура хранения с конкурентным доступом нескольких узлов к одной файловой системе (системы класса Lustre/GPFS): данные распределяются полосами по нескольким узлам хранения с агрегированной пропускной способностью — при одновременном чтении обучающего набора тысячами GPU справится только параллельная ФС.
Точки сохранения в процессе обучения: периодическая запись на диск весов модели и состояния оптимизатора — checkpoint больших моделей измеряются десятками ТБ; медленная запись тормозит обучение, потеря — откат всего прогресса. Пропускная способность checkpoint — первый экзамен для AI-хранилища.
Решение при переполнении видеопамяти в инференс-сервисах: KV cache, не помещающийся в HBM GPU, переносится на уровень NVMe — обмен полосы пропускания NVMe на ёмкость видеопамяти; компонент архитектуры инференса при длинном контексте и высоком параллелизме запросов.
AI-хранилища закупаются преимущественно под проекты (большие различия в конфигурации/ёмкости/программном стеке), б/у массивы должны пройти проверку безопасности данных — единого проверяемого рыночного среза пока нет, Принцип честности AIXX Pedia: без рыночных диапазонов, фактическая цена определяется предложением продавца 。
Поиск в продаже: Зал биржи AIXX › (сведение сделок без комиссии, не участвует в сделках, не знает и не предполагает цен сделок — данные поэтому нейтральны). После накопления достаточного объёма снимков котировок этот раздел будет переключён на стандартную ленту котировок.
Три отличия: масштаб пропускной способности (подача данных тысячами GPU — в десятки раз выше обычной корпоративной нагрузки), архитектура прямого доступа (GPUDirect Storage минует CPU), характер параллелизма (многие GPU-узлы читают один набор данных параллельно) — обычные NAS/гибридные массивы не справляются ни с одним из этих пунктов.
Настоятельно рекомендуется: данные идут в видеопамять GPU, минуя CPU, — снижаются и задержки загрузки обучающих данных и записи/чтения checkpoint, и нагрузка на CPU (по официальной документации); решения без поддержки GDS тоже работают, но потолок пропускной способности при передаче через CPU низок, а ресурсы хоста съедаются перемещением данных.
Checkpoint больших моделей измеряются десятками ТБ и записываются часто: медленная запись тормозит обучение (GPU ждёт сброса на диск), прерывание записи отбрасывает весь прогресс — пропускная способность и надёжность checkpoint разделяют AI-хранилища и обычные.
Можно, но нужно пройти три этапа: безопасность данных (протокол безопасной очистки данных «прошлой жизни» — условие сделки), здоровье (полный экспорт ресурса записи NVMe-дисков/SMART), лицензии (переносятся ли лицензии на ёмкость и функции вместе с оборудованием). Хранилище — дом для данных, стандарты приёмки должны быть максимальными.
Рекомендуется единая технология с возможностью разделения уровней: IB-кластер — сеть хранения IB-RDMA, Ethernet-кластер — RoCE; смешивание технологий требует шлюзов с двойной потерей задержки и пропускной способности. На уровне трафика сети хранения и вычислений можно изолировать физически/логически, чтобы запись checkpoint не мешала обучающему обмену.