AIXX Pedia › Concepto técnico › GPUDirect
GPUDirect es la familia de tecnologías de comunicación directa de GPU de NVIDIA: permite que los datos eviten la CPU y la memoria del sistema, estableciendo rutas directas entre la GPU y dispositivos externos. GPUDirect RDMA permite que la tarjeta de red lea y escriba directamente en la memoria de la GPU (eliminando la copia intermedia de la CPU); GPUDirect Storage lleva los datos del almacenamiento directamente a la memoria de la GPU (también sin pasar por la CPU); y NVLink es la conexión directa entre GPU.
El entrenamiento y la inferencia de IA se benefician de GPUDirect: en el entrenamiento, la sincronización de gradientes por AllReduce usa GPUDirect RDMA; en la inferencia, la caché KV pasa del almacenamiento directamente a la memoria de la GPU (GPUDirect Storage); el fabric multihost y multicard usa GPUDirect+RDMA: toda la ruta de datos queda sin cuellos de botella por la CPU.
| Concepto | Valor / criterio |
|---|---|
| GPUDirect RDMA | Conexión directa tarjeta de red ↔ memoria de GPU |
| GPUDirect Storage | Conexión directa NVMe/almacenamiento → memoria de GPU |
| Hardware asociado | Tarjetas de red ConnectX + topología PCIe con soporte P2P |
| Stack de software | CUDA + NCCL + GPUDirect Storage SDK |
Toda la gama B300 es compatible con GPUDirect: el fabric entre hosts del GB200/GB300 NVL72 (ConnectX-8) y el dominio NVLink dentro del rack siguen rutas GPUDirect. Al adquirir componentes de interconexión (tarjetas de red, conmutadores, cables), verificar punto por punto la lista de compatibilidad de GPUDirect es un requisito imprescindible de aceptación: los módulos de terceros pueden encajar físicamente pero no funcionar con GPUDirect.