SECTIONS
EDITIONS
NETWORK
AIXX Pedia Энциклопедия вычислительных мощностей

AIXX Pedia › Статья категории инфраструктуры › NVMe-хранилище полного флеша

Официальное изображение дата-центров NVIDIA (изображение производителя)
Инфраструктура ИИ-датацентра · AIXX Pedia (официальный сайт NVIDIA)

NVMe-хранилище полного флеша

Слой хранения ИИ-кластеров · NVMe-oF · GPUDirect Storage · статья в базе знаний

Обзор OVERVIEW

NVMe-хранилище полного флеша Это «третья нога» ИИ-кластера: помимо вычислений (GPU) и сети (NVLink/fabric) весь конвейер данных обучения и инференса — запись и чтение чекпоинтов, пропускная способность по обучающим датасетам, тиринг KV cache — лежит на слое хранения. Протокол NVMe (SSD напрямую по PCIe, в обход традиционных контроллеров SAS/SATA) + all-flash массивы + сеть NVMe-oF + GPUDirect Storage (данные идут напрямую из хранилища в память GPU, минуя копирование через CPU, по данным официальной документации NVIDIA[3]) — это стандартный элемент современного хранилища для AI.

Почему это стало необходимостью в AI-кластерах: checkpoint'ы кластеров на тысячу карт достигают десятков ТБ, обучающие датасеты измеряются сотнями ТБ — пропускной способности HDD или гибридных массивов не хватает для GPU, и каждая секунда ожидания GPU — это сожжённые впустую деньги на карту. NVMe-oF выводит производительность all-flash на уровень сети (RDMA напрямую[1]), а GPUDirect Storage убирает CPU из пути данных — эти две вещи определяют, будет ли слой хранения ускорителем или узким местом.

Эта статья — статья о выборе категории оборудования : обзор архитектуры хранения с точки зрения ИИ-кластера, параметров выбора, закупки и приёмки, без привязки к конкретному продукту. Единой рыночной цены на хранилища нет — Фактическая цена определяется предложением продавца.

Сценарии применения FIT

AIXX Index (0–100): взвешенная оценка соответствия сценарию. 90+ — флагманский уровень · 75+ — Отлично · 60+ — пригодно · ниже 60 — неприменимо.

Конвейер данных обучения LLM 93AIXX Index
Пропускная способность датасетов + быстрая запись/чтение чекпоинтов — с прямым доступом GPUDirect Storage GPU не простаивает, и only all-flash NVMe успевает за темпом.
Горячий слой данных инференса 88AIXX Index
Загрузка весов модели (составляющая задержки первого токена) + тиринг KV cache — NVMe-слой как overflow-уровень памяти GPU — доминирующая архитектура.
Фронтенд-слой дата-озера 78AIXX Index
All-flash кэш между объектным хранилищем (холодные данные) и GPU-кластером — «объектное озеро + all-flash кэш» — стандартный двухъярусный подход.
Обычный файловый шэринг 40AIXX Index
Файловым шэринга без GPU не нужен уровень NVMe-oF — обычный NAS дешевле, не платите за производительность, которую не используете.

Хронология HISTORY

2011 год выход спецификации NVMe 1.0: SSD напрямую по PCIe, протокол, созданный для флеш-памяти, вытесняет канал SAS/SATA — протокольный фундамент all-flash массивов (отраслевая информация).

2016–2020 годы , мейнстрим all-flash-массивов: спецификация NVMe-oF выводит NVMe на уровень сети (RDMA напрямую), all-flash-массивы Dell/NetApp/Pure становятся новым стандартом корпоративного хранения, а GPU-кластеры начинают строиться на all-flash как на базе хранения (отраслевые данные[1]).

2020 год NVIDIA выпускает GPUDirect Storage : данные из хранилища по RDMA идут напрямую в память GPU, минуя CPU (по данным блога для разработчиков и официальной документации NVIDIA[2][3]) — закрыта «последняя миля» AI-хранилищ, экосистема CUDA расширяет позиции.

2023–2026 годы , стандартизация в AI-кластерах: потребности checkpoint'ов и пропускной способности при обучении больших моделей выводят хранилище на центральное место инфраструктуры — трёхуровневая схема «объектное озеро (холодные данные) + all-flash кэш (горячие данные) + GPUDirect passthrough» становится референсной архитектурой AI-хранилищ (по отраслевым референсным архитектурам[4]).

Параметры выбора SELECTION GUIDE

ПараметрНа что смотретьМетодика
Пропускная способность (ГБ/с)Соответствие совокупной полосы чтения/записи скорости потребления GPUРассчитать от «объёма данных, потребляемых кластером в час», с запасом 30% (расчётная методика)
IOPS и задержкаДля сценариев с мелкими операциями (метаданные чекпоинтов, тиринг KV cache) смотрят IOPS и задержку P99Большая пропускная способность ≠ низкая задержка — две категории нагрузок рассматривать раздельно
Поддержка NVMe-oFРасширение в сеть через RDMA (RoCE/IB)Сверяться с сетевым планом кластера: IB-сеть — IB-RDMA, Ethernet — RoCE
GPUDirect StorageНаличие массива/файловой системы в списке совместимости NVIDIA GDSОриентироваться на официальный список совместимости (по документации NVIDIA[3]) — для решений вне списка passthrough требует отдельной разработки
Параллельные файловые системыLustre/GPFS-семейство/собственные параллельные FS вендоровМногочисленные GPU-узлы одновременно читают один датасет — параллельная полоса решает
Тиринг ёмкостиТри яруса: горячий (NVMe) / тёплый (гибрид) / холодный (объектные/лента)All-flash только для горячих данных — стоимость ёмкости снижается за счёт тиринга
Защита данныхErasure coding/реплики, снапшоты, DR на другой площадкеСтраховочный трос для датасетов и чекпоинтов; уровень защиты — по ценности данных

Методология отбора — систематизация на основе открытых архитектурных документов (данные на 2026-10)[1][3][4]; specifics уточняйте по документации производителя и реальным стресс-тестам.

All-flash массивПул NVMe SSD Сеть NVMe-oFRDMA напрямую Память GPUGPUDirect в обход CPU Путь данных в ИИ-хранилище · NVMe-oF + GPUDirect Storage (схема)

Трёхъярусная архитектура ИИ-хранилища TIERING

ЯрусСреда/форматЧто хранитсяКлючевые метрики
Горячий ярусNVMe all-flash массив / распределённый NVMeАктивные датасеты, чекпоинты, тиринг KV cacheПолоса + GPUDirect passthrough
Тёплый ярусГибрид / NVMe большой ёмкостиНедавние версии датасетов, промежуточные данные препроцессингаЦена за ёмкость
Холодный ярусОбъектное хранилище / лентаСырое дата-озеро, исторические архивыСтоимость за единицу ёмкости

Трёхуровневая архитектура — систематизация на основе открытых референсных архитектур[4]; политика распределения по уровням настраивается под жизненный цикл бизнес-данных.

Экосистема и расстановка производителей VENDORS

Три типа игроков на рынке ИИ-хранилищ (компиляция базы, не рекомендация к закупке):

ЛагерьПредставителиПозиционирование и особенности
Корпоративные all-flash массивыDell PowerStore/PowerScale, NetApp AFF, Pure FlashArray//FlashBlade, Huawei OceanStor, Inspur серии ASПолный набор корпоративной защиты данных и эксплуатационных процессов; ИИ-адаптация — по совместимости с GPUDirect и параллельной полосе (по открытым продуктовым линейкам)
ИИ-ориентированные хранилищаVAST Data, WEKA, VDURA и другие новые производители параллельных ФССоздано для GPU-кластеров: параллельная FS + NVMe-тиринг + глубокая адаптация GDS (по референсной архитектуре[4])
Собственные сборки/open sourceLustre, Ceph, JuiceFS и другие self-hosted решенияДля сверхбольших кластеров — максимальная управляемость, но оплата — труд эксплуатационщиков (по открытой экосистеме)

Информация о производителях — компиляция по открытым продуктовым линейкам, конкретику смотреть в официальных материалах; сторона SSD-носителей (корпоративные NVMe Samsung/Solidigm/WD) — отдельное звено цепочки поставок, уже включено при закупке массива.

Официальное изображение дата-центров NVIDIA
Инфраструктура ИИ-датацентра (официальное изображение · сайт NVIDIA)

Фотографии накопителей добавляются по мере поступления партий проверки; ИИ-генерация не выдаётся за реальные фото.

Развёртывание и интеграция DEPLOYMENT

Три шага запуска хранилища: Сверка fabric (сеть хранения на той же технологии, что и compute fabric: IB-кластер — IB-RDMA storage network, Ethernet — RoCE — смешанные маршруты требуют шлюзов и теряют и в задержке, и в полосе); Настройка GDS (развёртывание компонентов по официальной документации NVIDIA GDS[3] при условии, что массив есть в списке совместимости); Нагрузочное тестирование (тест полосы на реальных задачах обучения — заявленные спецификации ничего не значат, GPU ждать не будет, и это знает только нагрузочный тест).

Эксплуатационное замечание: метрики мониторинга слоя хранения (полоса/IOPS/задержка P99/заполнение ёмкости) смотреть на одном экране с мониторингом GPU-кластера — первый пункт диагностики при «аномально низкой утилизации GPU» — скорость подачи данных из хранилища (опыт эксплуатации базы).

Закупка и приёмка PROCUREMENT

Ключевые пункты приёмки ИИ-хранилища (три пункта):

1
Сначала нагрузочный тест на реальных задачах
Гнать полосу и задержку на реальных датасетах целевых задач обучения/инференса — демо-данные вендора ≠ ваши данные; решения, не прошедшие тест, в контракт не попадают.
2
Проверка совместимости и passthrough GDS
Массив в списке совместимости NVIDIA GDS (официальная методика [3]) + замеренная сквозная пропускная способность — «поддержка NVMe-oF» ≠ «поддержка GPUDirect», это разные вещи, проверять раздельно.
3
Отработка отказов
Три учения: ребилд при отказе диска, переключение контроллеров, переподключение после разрыва сети — цена «дёрнувшегося» хранилища посреди тренировки — повтор всего раунда; учения пройдены — тогда в прод.

Полный перечень из шести пунктов приёмки — в этой статье «Как проводить приёмку» этой статьи.

Как проводить приёмку ACCEPTANCE TEST

Шесть пунктов приёмки (рамка приёмки ИИ-хранилища): вскрытие и сверка → базовая полоса → GPUDirect passthrough → параллельное чтение → учения отказов → длительная интеграция.

1
Вскрытие и пересчёт
Контроллеры/NVMe диски/модули кэша сверяются с упаковочным листом; серийные номера и статусы лицензий (лицензии на ёмкость/функции) экспортируются и архивируются.
2
Базовая полоса
fio и стандартные инструменты для совокупного чтения/записи: соответствует заявленному на ≥85% — Пройдено (расчётная методика) — размер блока и глубина очереди теста должны соответствовать реальной нагрузке.
3
GPUDirect passthrough
Развернуть по официальной документации NVIDIA GDS и прогнать официальные бенчмарки[3]: passthrough-пропускная способность от хранилища до памяти GPU соответствует норме, нагрузка на CPU заметно ниже, чем в режиме через CPU — Пройдено.
4
Параллельное чтение
Несколько GPU-узлов одновременно читают один датасет: линейность совокупной полосы и задержка P99 в норме — решение, где один узел быстрый, а при масштабировании всё проседает, этот этап не проходит.
5
Отработка отказов
Три учения: извлечение диска с ребилдом, переключение контроллеров, разрыв сети: данные не теряются, время восстановления в SLA контракта — Пройдено.
6
Длительное совместное тестирование
Непрерывная интеграция ≥24 часа на реальной задаче обучения (рамка прецедентов): кривая полосы хранения стабильна, GPU не голодает в ожидании — сдача только после успешной интеграции.

Доставка и приёмка LOGISTICS

1
Транспортировка и отстой дисковых полок
Полка с полностью укомплектованными NVMe-дисками тяжёлая, а накопители боятся тряски: заводская упаковка + регистратор данных при транспортировке (если предусмотрен); после доставки — отстой, затем подача питания (по рекомендациям производителя).
2
Безопасность данных и остаточная информация
Остаточные данные с «прошлой жизни» б/у дискового массива — это красная линия безопасности: после доставки — полная безопасная очистка всех дисков (по нормам информационной безопасности) и только затем ввод в эксплуатацию — данные предыдущего владельца не должны попасть в вашу серверную.
3
Совместная приёмка по прибытии
Проверка по трём пунктам: внешний вид, комплектность, лицензии; подписывайте приёмку только после прохождения всех шести пунктов чек-листа — хранилище это дом для данных, и стандарты приёмки должны быть максимальными.

Терминологические карточки GLOSSARY

NVMe

Протокол хранения, созданный для флеш-памяти: SSD подключается напрямую к шине PCIe, высокая глубина очереди, низкая задержка — в отличие от SAS/SATA протокол раскрывает всю скорость флеш-памяти. NVMe SSD — базовый строительный блок полностью флешевых массивов.

NVMe-oF

NVMe over Fabrics: расширение протокола NVMe на сеть (транспорт RDMA поверх IB или RoCE) — сервер обращается к удалённому all-flash-массиву как к локальному диску, потери производительности минимальны (отраслевые данные[1]).

GPUDirect Storage(GDS)

Технология прямого доступа к хранилищу NVIDIA: данные с NVMe/массива по RDMA идут прямо в память GPU, минуя копирование через CPU — ключевая технология ускорения загрузки обучающих данных и чтения/записи чекпоинтов (по официальной документации [3]).

Параллельные файловые системы

Архитектура хранения с конкурентным доступом нескольких узлов к одной файловой системе (системы класса Lustre/GPFS): данные распределяются полосами по нескольким узлам хранения с агрегированной пропускной способностью — при одновременном чтении обучающего набора тысячами GPU справится только параллельная ФС.

Checkpoint

Точки сохранения в процессе обучения: периодическая запись на диск весов модели и состояния оптимизатора — checkpoint больших моделей измеряются десятками ТБ; медленная запись тормозит обучение, потеря — откат всего прогресса. Пропускная способность checkpoint — первый экзамен для AI-хранилища.

Тирование KV cache

Решение при переполнении видеопамяти в инференс-сервисах: KV cache, не помещающийся в HBM GPU, переносится на уровень NVMe — обмен полосы пропускания NVMe на ёмкость видеопамяти; компонент архитектуры инференса при длинном контексте и высоком параллелизме запросов.

Ограничения и споры LIMITS

  • Иллюзия пропускной способности Заявленная производителем пропускная способность — лабораторное значение в идеальных условиях: при реальной обучающей нагрузке (мелкие смешанные IO, конкурентный доступ многих узлов) фактический результат часто вдвое ниже; нагрузочное тестирование реальными задачами — единственная проверка (по опыту приёмки из этой базы).
  • Разнородная совместимость с GDS : «поддержка NVMe-oF» не равна «включению в список совместимости NVIDIA GDS» — для решений вне списка passthrough требует собственной разработки, скрытые расходы нужно учитывать (по официальной документации[3]).
  • Ловушка стоимости полностью флешевой ёмкости Хранить холодные данные на флеше — чёрная дыра бюджета: трёхуровневое тирование (горячие/тёплые/холодные данные) — это финансовая дисциплина; флеш — только для горячих данных (по данным этой базы).
  • Остаточные данные на б/у дисковых массивах Безопасность данных «прошлой жизни» б/у массива — риск юридического уровня: протокол безопасной очистки обязателен как условие сделки (по опыту приёмки из этой базы).
  • Vendor lock-in Параллельные файловые системы глубоко привязаны к стеку управления массивом, миграция на другой бренд дорога — при выборе учитывайте «сложность вывоза данных» как отдельный параметр (по данным этой базы).

Комментарий к рынку MARKET NOTE

NVMe полностью флешевые хранилища · рыночный раздел пока не открыт

AI-хранилища закупаются преимущественно под проекты (большие различия в конфигурации/ёмкости/программном стеке), б/у массивы должны пройти проверку безопасности данных — единого проверяемого рыночного среза пока нет, Принцип честности AIXX Pedia: без рыночных диапазонов, фактическая цена определяется предложением продавца 。

Поиск в продаже: Зал биржи AIXX › (сведение сделок без комиссии, не участвует в сделках, не знает и не предполагает цен сделок — данные поэтому нейтральны). После накопления достаточного объёма снимков котировок этот раздел будет переключён на стандартную ленту котировок.

Частые вопросы FAQ

Чем хранилище AI-кластера отличается от обычного корпоративного?

Три отличия: масштаб пропускной способности (подача данных тысячами GPU — в десятки раз выше обычной корпоративной нагрузки), архитектура прямого доступа (GPUDirect Storage минует CPU), характер параллелизма (многие GPU-узлы читают один набор данных параллельно) — обычные NAS/гибридные массивы не справляются ни с одним из этих пунктов.

Обязателен ли GPUDirect Storage?

Настоятельно рекомендуется: данные идут в видеопамять GPU, минуя CPU, — снижаются и задержки загрузки обучающих данных и записи/чтения checkpoint, и нагрузка на CPU (по официальной документации); решения без поддержки GDS тоже работают, но потолок пропускной способности при передаче через CPU низок, а ресурсы хоста съедаются перемещением данных.

Почему checkpoint — первый экзамен для хранилища?

Checkpoint больших моделей измеряются десятками ТБ и записываются часто: медленная запись тормозит обучение (GPU ждёт сброса на диск), прерывание записи отбрасывает весь прогресс — пропускная способность и надёжность checkpoint разделяют AI-хранилища и обычные.

Можно ли покупать полностью флешевые массивы с рук?

Можно, но нужно пройти три этапа: безопасность данных (протокол безопасной очистки данных «прошлой жизни» — условие сделки), здоровье (полный экспорт ресурса записи NVMe-дисков/SMART), лицензии (переносятся ли лицензии на ёмкость и функции вместе с оборудованием). Хранилище — дом для данных, стандарты приёмки должны быть максимальными.

Разделять ли сети хранения и вычислительные сети?

Рекомендуется единая технология с возможностью разделения уровней: IB-кластер — сеть хранения IB-RDMA, Ethernet-кластер — RoCE; смешивание технологий требует шлюзов с двойной потерей задержки и пропускной способности. На уровне трафика сети хранения и вычислений можно изолировать физически/логически, чтобы запись checkpoint не мешала обучающему обмену.

NVMe (страница понятия)GB200 NVL72GB300 NVL72Жидкостное охлаждение CDUBlueField-3ConnectX-7GPUDirect StorageПараллельные файловые системыТирование KV cache

Сравнение для выбора и дополнительно COMPARE

Источники REFERENCES

  1. Introl — AI-Optimized Storage: NVMe-oF, GPUDirect & Parallel File Systems (обзор архитектур 2025) https://introl.com/blog/ai-optimized-storage-nvme-gpudirect-…
  2. NVIDIA Developer Blog — NVIDIA GPUDirect Storage (публикация 2020) https://developer.nvidia.com/blog/gpudirect-storage/
  3. Официальная документация NVIDIA — GPUDirect Storage Overview Guide (по развёртыванию и совместимости) https://docs.nvidia.com/gpudirect-storage/overview-guide/ind…
  4. VDURA — AI Storage Reference Design (референсная архитектура полностью флешевого хранилища) https://www.vdura.com/resources/reference-architecture/ai-st…
  5. Поиск в продаже — AIXX Биржа (сведение сделок без комиссии; по AI-хранилищам рыночного среза нет, цена определяется по данным продавца) https://www.aixx.vip/hall.html
Версии и исправления |Статья поддерживается редакцией AIXX Pedia: черновик с помощью ИИ, факты проверены вручную. Обновлено 2026-10-10 · версия v1.0 · все правки сохранены и доступны. Нашли ошибку? Сообщите через канал исправлений — после проверки будет внесено публичное исправление с записью в историю версий.

Видеообзор VIDEO

Энциклопедия
Редакционная политикаО энциклопедии (декларация интересов)канал исправлений
Кратко о редакционном уставе
Каждое утверждение с источникомНедостатки обязательны · исправления публичныПлатные статьи не принимаютсяНоль рекламы и продаж внутри статейРыночные данные подключаются только как модуль данных
Семейство AIXX
AIXX PediaAIXX ExchangeAIXX News
Обзор рынка: AIXX Exchange · © 2026 AIXX Pedia · Продукт AIXX