AIXX Pedia › Техническая концепция › GPUDirect
GPUDirect — семейство технологий прямого взаимодействия GPU от NVIDIA, позволяющих данным идти в обход CPU и системной памяти по прямому пути между GPU и внешними устройствами. GPUDirect RDMA позволяет сетевому адаптеру напрямую читать и писать в память GPU (без промежуточного копирования через CPU); GPUDirect Storage доставляет данные из хранилища прямо в память GPU (минуя CPU); NVLink обеспечивает прямое соединение между GPU.
Обучение и инференс ИИ обе выигрывают от GPUDirect: при обучении синхронизация градиентов AllReduce идёт через GPUDirect RDMA; при инференсе KV cache доставляется из хранилища прямо в память GPU (GPUDirect Storage); multi-node fabric между машинами и картами строится на GPUDirect+RDMA — весь путь данных не упирается в узкое место в виде CPU.
| Параметр | Значение / формат |
|---|---|
| GPUDirect RDMA | Прямой путь: сетевой адаптер ↔ память GPU |
| GPUDirect Storage | Прямой путь: NVMe/хранилище → память GPU |
| Сопутствующее оборудование | Сетевые адаптеры ConnectX + PCIe-топология с поддержкой P2P |
| Программный стек | CUDA + NCCL + GPUDirect Storage SDK |
Вся линейка B300 поддерживает GPUDirect — межузловой fabric систем GB200/GB300 NVL72 (ConnectX-8) и внутристоечный домен NVLink оба проходят через GPUDirect-пути. При закупке компонентов интерконнекта (сетевые адаптеры/коммутаторы/кабели) пошлиная сверка со списком совместимости GPUDirect — обязательный пункт приёмки: сторонние модули могут физически вставляться, но GPUDirect при этом не заработает.