
CUDANVIDIA의병렬 컴퓨팅 플랫폼과 프로그래밍 모델: 2006년 11월 GeForce 8800(G80, 통합 셰이더 아키텍처)과 함께 출시 — GPU를 '그래픽 프로세서'에서 '범용 병렬 컴퓨팅 프로세서'로 바꾸었고, 개발자가 C 유사 언어로 GPU 프로그램을 직접 작성할 수 있게 했다(NVIDIA CUDA 공식 페이지 기준[1]). 오늘날 CUDA는 AI 컴퓨팅 세계의 사실상 표준이다: PyTorch, TensorFlow, vLLM 아래에서 거의 모든 주류 AI 프레임워크의 GPU 백엔드가 CUDA 위에 놓여 있다.
CUDA는 단순한 '드라이버'가 아니라 3계층 소프트웨어 스택이다: 하위 계층은 드라이버와 하드웨어 명령어 세트(카드의 '컴퓨팅 능력' 버전이 결정), 중간 계층은 CUDA Toolkit(nvcc 컴파일러, 런타임)과 CUDA-X 라이브러리 패밀리(cuBLAS/cuDNN/NCCL 등[2][3]), 상위 계층은 프레임워크와 자체 개발 애플리케이션이다. 카드 선택 시 말하는 '컴퓨팅 능력'(Compute Capability, 예: H100=9.0, Blackwell=10.0)은 CUDA 세계의 하드웨어 세대 — 중고 카드 검수와 프레임워크 호환성의 첫 번째 대조 파라미터다(공식 대조표 기준 [4])。
구매자에게 CUDA는 실질적으로 두 가지를 의미한다: 생태계 종속(CUDA 생산 라인에서 ROCm/oneAPI로의 전환에는 실제 비용이 든다, 자세한 내용은 '한계와 논쟁' 참조)과 버전 호환성(프레임워크가 요구하는 CUDA 버전 vs 카드의 드라이버와 컴퓨팅 능력 — 중고 카드 검수 필수 확인 항목). 본 항목은 소프트웨어 개념 항목으로, 각 모델 항목과 서로 보완 관계다.
AIXX Index(0–100): 생태계 적합도 가중 추정치(소프트웨어 개념 항목 특화 기준).
2006년 11월, CUDA가 GeForce 8800(G80)과 함께 출시: 통합 셰이더 아키텍처로 GPU의 스트림 프로세서를 범용 병렬 프로그램이 스케줄링할 수 있게 되었고, 'Compute Unified Device Architecture'라는 이름이 여기서 확립되었다(NVIDIA CUDA 공식 페이지 및 공개 기술사 기준 [1]) — GPU 범용 컴퓨팅(GPGPU)이 학술적 기교에서 엔지니어링 플랫폼으로 바뀌었다.
2012-2016년, 딥러닝 폭발: AlexNet이 GTX 580 두 장으로 우승하며(공개 기술사 기준) CUDA-GPU가 딥러닝의 표준 컴퓨팅 자원이 되었다 — cuDNN 등 전용 라이브러리가 잇달아 성숙하며 CUDA-X 라이브러리 패밀리가 형성되었다(cuDNN 공식 페이지 [2])。
2017-2022년, 데이터센터화: Volta(컴퓨팅 능력 7.0)가 Tensor Core를 도입하며 CUDA가 소비자 카드에서 데이터센터 주전장으로 나아갔다; NCCL 집합 통신 라이브러리가 멀티 GPU 학습의 표준 부품이 되었다(NCCL 공식 페이지 [3]). A100(8.0)과 H100(9.0) 시대에 CUDA 버전과 프레임워크 생태계의 결합은 더욱 깊어졌다.
2023-2026년, Blackwell 시대: 컴퓨팅 능력이 10.0 세대에 진입(공식 대조표 기준 [4])하고 FP4/FP8 새 정밀도를 CUDA 스택이 네이티브 지원; 동시에 ROCm(AMD)과 oneAPI(Intel)가 대체 경로로 계속 추격 중 — CUDA의 생태계 지배와 대체 세력의 각축은 2026년 컴퓨팅 선정의 배경판이다(한계와 논쟁 참조).
컴퓨팅 능력(Compute Capability, 흔히 CC/sm_XX로 약칭)은 CUDA 세계의 '하드웨어 세대' — 카드가 실행할 수 있는 명령어 세트와 프레임워크·드라이버의 적응 방식을 결정한다.본 라이브러리 판매 모델의 CC 대조(NVIDIA 공식 대조표 기준 [4]):
| 모델 | 아키텍처 | 컴퓨팅 능력 | 본 라이브러리 항목 |
|---|---|---|---|
| B300 / GB300 시리즈(Blackwell Ultra) | Blackwell Ultra | 10.x 세대(공식 표 기준) | B300 |
| B200 / GB200 시리즈(Blackwell) | Blackwell | 10.0 | GB200 NVL72 항목 |
| H100 / H200 / H20(Hopper) | Hopper | 9.0 | H200 |
| L40S / L40 / L20(Ada) | Ada Lovelace | 8.9 | L40S |
| A100 / A800(Ampere) | Ampere | 8.0 | A100 |
| RTX 6000 Ada / A 시리즈 워크스테이션 카드 | Ada / Ampere | 8.9 / 8.6 | RTX 6000 Ada 스펙 카드 |
전체 풀량 대조(모든 소비자 카드/전문가 카드 포함)는 NVIDIA 공식 CUDA GPUs 페이지 기준 [4]; '공식 표 기준' = 본 표에는 본 라이브러리 판매 모델만 기재, Blackwell Ultra의 정확한 마이너 버전은 공식 표 갱신 기준, 추측하지 않음.
검수 시나리오 퀵 가이드: 중고 카드를 받으면 먼저 nvidia-smi -q 를 실행해 드라이버와 CUDA Version(드라이버가 지원하는 CUDA 상한)을 확인한 뒤 카드의 컴퓨팅 능력과 대조 — 프레임워크 요구 사항(예: PyTorch 빌드 시 CUDA 버전)과 카드의 CC가 일치해야 '이 카드는 생산 라인에 투입 가능'하다.
| 라이브러리 | 하는 일 | 사용 주체 |
|---|---|---|
| cuBLAS | 선형대수(행렬 곱 등) — 딥러닝의 연산 기반 | 모든 학습/추론 프레임워크 |
| cuDNN | 딥러닝 프리미티브 가속(합성곱/어텐션 등, 공식 페이지 기준 [2]) | 학습과 추론 프레임워크의 연산자 기반 |
| NCCL | 멀티 GPU·멀티 노드 집합 통신(AllReduce 등, 공식 페이지 기준 [3]) | 분산 학습의 통신 기반 |
| CUDA-X Data Science / AI 등 | 데이터 처리, 추천, 양자화 등 버티컬 라이브러리 패밀리(CUDA-X 공식 기준) | 데이터 파이프라인과 버티컬 시나리오 |
| nvcc / Nsight 툴체인 | 컴파일러와 성능 분석(Toolkit 구성 요소, 공식 문서 기준 [6]) | 자체 연산자 개발과 튜닝 |
CUDA-X는 NVIDIA의 GPU 가속 라이브러리 패밀리 총칭(공식 기준); 각 라이브러리 버전과 CUDA Toolkit 버전에는 호환 매트릭스가 있다 — 업그레이드 전 호환 표를 먼저 확인(공식 문서 기준 [6])。
| 시나리오 | 규칙 | 검수 의미 |
|---|---|---|
| 드라이버 vs CUDA | 드라이버 버전이 지원 가능한 CUDA 상한 결정(하위 호환) | 중고 카드의 nvidia-smi 우측 상단 CUDA Version=드라이버 능력 상한, 설치된 Toolkit 버전과 다름 |
| Toolkit vs 컴퓨팅 능력 | 신규 Toolkit은 새 CC 지원; 구버전 Toolkit 컴파일 산출물은 새 카드에서 재컴파일 필요할 수 있음 | 프레임워크 이미지의 CUDA 버전과 카드 CC 일치 — 구버전 프레임워크로 신형 카드 구동(예: CUDA 11.x 이미지로 Blackwell 구동) 시 호환 경로 확인 필요 |
| Forward Compatibility | 데이터센터의 특정 드라이버 메커니즘으로 새 카드에서 구버전 CUDA 바이너리 실행 가능(공식 문서 기준 [6]) | 데이터센터 카드(Tesla/데이터센터 시리즈)의 호환 혜택 — 구체적 사용법은 공식 문서에 따르고 기억에 의존해 조작하지 말 것 |
호환 매트릭스는 버전에 따라 진화하며 NVIDIA 공식 문서 기준 [6]; 본 표는 의사결정 방향 기준이며 조작 매뉴얼이 아님.
CUDA는 소프트웨어 플랫폼이므로 하드웨어 이미지 집합이 없다; 소프트웨어 스택 개요는 '기술 사양' 절 참조. 공식 로고 소재는 NVIDIA 공식 발행본 기준.
| 항목 | 현황 |
|---|---|
| 획득 | CUDA Toolkit은 NVIDIA 공식 다운로드 페이지에서 배포(공식 기준 [5]), 드라이버와 Toolkit은 분리 설치 |
| 프레임워크 지원 | PyTorch / TensorFlow / JAX / vLLM / TensorRT 등이 CUDA를 주요 GPU 백엔드로 사용 |
| 컨테이너화 | NVIDIA Container Toolkit — 프레임워크 이미지에 CUDA 런타임이 포함되어 호스트는 드라이버만 관리 |
| 경쟁 제품 | AMD ROCm(HIP 생태계), Intel oneAPI(SYCL 계열) — 프레임워크 지원도와 연산자 커버리지가 계속 추격 중(한계와 논쟁 참조) |
| 코드 자산 | 20년간 축적된 CUDA 코드 자산(논문 재현/오픈소스 저장소/자체 연산자)이 전환 비용의 핵심 구성 요소 |
생태계 정보는 공개 기준 정리; 버전과 지원 매트릭스는 시간에 따라 진화하며 NVIDIA 공식 발행본 기준.
카드 구매 시 CUDA 관련 3가지 점검(모델 항목의 하드웨어 검수와 상호 보완):
nvidia-smi -q: 드라이버 버전과 CUDA 상한, 카드 모델과 VRAM을 판매자 설명과 대조 — 클라우드 커스텀 카드(vGPU 라이선스 상태)는 이 단계에서 정체가 드러난다.하드웨어 측 6가지 스트레스 테스트는 각 모델 항목(예: A100/B300 항목) 참조; 본 절은 소프트웨어 관점만 커버.
CUDA 관점의 중고 카드 4단계 퀵 체크(하드웨어 스트레스 테스트와 병행):
nvidia-smi -q: 카드 모델, 드라이버 버전, CUDA Version 상한, VBIOS — 판매자 설명과 항목별 대조.torch.cuda.get_device_capability(): CC를 공식 표와 대조 [4] — 가짜 카드는 CC에서 정체가 드러난다.CUDA 세계의 하드웨어 세대(예: 8.0/9.0/10.0): 카드의 명령어 셋과 특성을 결정 — 프레임워크와 컴파일러는 CC에 따라 코드를 생성/선택한다. 검수 시 CC를 공식 표와 대조하는 것은 가짜 카드를 식별하는 확실한 방법이다(공식 대조표[4])。
CUDA C++의 컴파일러(CUDA Toolkit 구성 요소): 커널 함수를 특정 CC 대상 GPU 바이너리로 컴파일 — 「컴파일 대상 CC」가 바이너리가 실행 가능한 카드를 결정한다.
Volta부터 도입된 행렬 연산 유닛: 혼합 정밀도 학습의 하드웨어 기반 — 세대별 Tensor Core의 새 정밀도(FP16→BF16→FP8→FP4)는 모두 CUDA 스택이 최초 지원하며, 「CUDA 버전이 하드웨어를 쫓는」 대표적 사례다.
두 가지 대체 노선: AMD ROCm(HIP 문법이 CUDA에 가깝고 마이그레이션 툴체인 성숙도가 계속 향상), Intel oneAPI(SYCL 기반 크로스 벤더 노선) — 연산자 커버리지와 튜닝 인력이 여전히 CUDA와의 격차다(공개 벤치마크 합의 기준).
CUDA의 호환 규칙: 새 드라이버는 구형 CUDA 지원(백워드 호환, 기본); 데이터센터 카드는 특정 메커니즘으로 신형 카드에서 구형 CUDA 바이너리 실행(포워드 호환, 공식 문서 기준[6]) — 버전 간 배포 전 공식 문서를 확인하라, 막연한 기억으로 판단하지 말 것.
다릅니다: 드라이버는 시스템이 카드를 인식하게 하는 하위 소프트웨어이고, CUDA는 병렬 컴퓨팅 플랫폼(Toolkit 컴파일러+런타임+CUDA-X 라이브러리 풀세트)입니다. nvidia-smi 우측 상단의 「CUDA Version」은 드라이버가 지원하는 CUDA 상한이지 설치된 Toolkit 버전이 아닙니다 — 두 가지가 자주 혼동됩니다.
컴퓨팅 캐퍼빌리티(CC)는 카드가 실행할 수 있는 명령어 셋과 프레임워크 기능을 결정합니다: CC가 너무 오래되면 새 프레임워크가 동작하지 않고, CC가 카드 모델과 맞지 않으면 가짜 카드일 수 있습니다 — 공식 표와 대조해 CC를 확인하는 것(예: A100=8.0/H100=9.0/Blackwell=10.0)은 중고 카드 검수의 확실한 방법입니다.
3단 대응: 드라이버 업그레이드(CUDA 상한 상향), 카드 CC에 맞는 프레임워크 이미지 사용(컨테이너 런타임 포함), 데이터센터 카드는 공식 포워드 호환 메커니즘 확인. 구체적 조합은 NVIDIA 공식 문서를 따르고, 기억에 의존해 버전을 억지로 맞추지 마세요.
상황에 따라 다릅니다: 주류 프레임워크(PyTorch 등)의 일반 모델은 ROCm에서 이미 동작하며, HIP 문법이 CUDA에 가까워 마이그레이션 도구도 성숙해지고 있습니다. 하지만 연산자 커버리지, 튜닝 인력, 20년치 코드 자산에서는 여전히 CUDA와 격차가 있습니다 — 신규 라인은 검토 가능하지만, 기존 CUDA 라인의 전환은 인월 단위로 총비용을 계산해야 합니다.
CUDA SDK는 NVIDIA 배포 조항에 따라 라이선스가 부여되며, 비 NVIDIA 하드웨어에서의 트랜스파일 실행에 제한 조항이 있습니다(공개 논의 기준) — 일반적인 「NVIDIA 카드에서 CUDA 실행」은 영향받지 않습니다. 크로스 플랫폼 트랜스파일 관련 컴플라이언스 문제는 법무 소견을 따르며, 본 도고의 서술은 법률 자문이 아닙니다.