AIXX Pedia › Technisches Konzept › GPUDirect
GPUDirect ist NVIDIAs Familie direkter GPU-Kommunikationstechnologien – Daten umgehen CPU und Systemspeicher und laufen über einen direkten Pfad zwischen GPU und externen Geräten. GPUDirect RDMA erlaubt Netzwerkkarten, direkt auf den GPU-Speicher zu lesen und zu schreiben (ohne Kopiervorgang über die CPU); GPUDirect Storage bringt Speicherdaten direkt in den GPU-Speicher (ebenfalls ohne CPU-Umweg); NVLink stellt die Direktverbindung zwischen GPUs her.
AI-Training und Inferenz profitieren beide von GPUDirect: Beim Training läuft die AllReduce-Gradientensynchronisation über GPUDirect RDMA; bei der Inferenz gelangt der KV-Cache direkt aus dem Speicher in den GPU-Speicher (GPUDirect Storage); Multi-Node-Multi-GPU-Fabrics nutzen GPUDirect+RDMA – der gesamte Datenpfad bleibt ohne CPU-Engpass.
| Position | Wert / Definition |
|---|---|
| GPUDirect RDMA | Netzwerkkarte ↔ GPU-Speicher: direkter Pfad |
| GPUDirect Storage | NVMe/Speicher → GPU-Speicher: direkter Pfad |
| Passende Hardware | ConnectX-Netzwerkkarte + PCIe-Topologie mit P2P-Unterstützung |
| Softwarestack | CUDA + NCCL + GPUDirect Storage SDK |
Die gesamte B300-Serie unterstützt GPUDirect – sowohl die clusterübergreifenden Fabrics der GB200/GB300 NVL72 (ConnectX-8) als auch die NVLink-Domain im Rack laufen über GPUDirect-Pfade. Beim Einkauf von Interconnect-Komponenten (Netzwerkkarten/Switches/Kabel) ist die gpudirect-Kompatibilitätsliste Punkt für Punkt abzugleichen – ein zwingender Bestandteil der Abnahme. Module Dritter lassen sich möglicherweise physisch einstecken, funktionieren aber nicht mit GPUDirect.