GPUDirect는 NVIDIA의 GPU 직접 통신 기술군으로, 데이터가 CPU와 시스템 메모리를 우회해 GPU와 외부 장치 간 직접 경로를 구축하도록 합니다. GPUDirect RDMA는 NIC가 GPU 메모리를 직접 읽고 쓰게 하여(CPU 경유 복사 생략) GPUDirect Storage는 스토리지 데이터를 GPU 메모리로 직접 전달하며(CPU 경유 생략), NVLink는 GPU 간 직접 연결입니다.
AI 학습과 추론 모두 GPUDirect의 이점을 받습니다. 학습 시 AllReduce 그래디언트 동기화는 GPUDirect RDMA로 처리되고, 추론 시 KV cache가 스토리지에서 GPU 메모리로 직접 전달되며(GPUDirect Storage), 다중 노드 다중 GPU fabric은 GPUDirect+RDMA로 구동됩니다. 즉 전체 데이터 경로에 CPU 경유 병목이 없습니다.
| 항목 | 수치 / 기준 |
|---|---|
| GPUDirect RDMA | NIC↔GPU 메모리 직접 경로 |
| GPUDirect Storage | NVMe/스토리지→GPU 메모리 직접 경로 |
| 관련 하드웨어 | ConnectX NIC + P2P 지원 PCIe 토폴로지 |
| 소프트웨어 스택 | CUDA + NCCL + GPUDirect Storage SDK |
B300 전 라인업이 GPUDirect를 지원합니다. GB200/GB300 NVL72의 노드 간 fabric(ConnectX-8)과 랙 내 NVLink 도메인 모두 GPUDirect 경로를 사용합니다. 인터커넥트 부품(NIC/스위치/케이블) 조달 시 GPUDirect 호환성 목록을 항목별로 확인하는 것은 필수 검수 항목입니다. 서드파티 모듈은 물리적으로 장착되더라도 GPUDirect가 동작하지 않을 수 있습니다.