AIXX Pedia › Software-Eintrag › CUDA

CUDA ist NVIDIAs Parallele Rechenplattform und Programmiermodell : Im November 2006 zusammen mit der GeForce 8800 (G80, Unified-Shader-Architektur) eingeführt – sie verwandelte die GPU vom „Grafikprozessor“ in einen „universellen Parallelprozessor“, und Entwickler schreiben GPU-Programme direkt in einer C-ähnlichen Sprache (offizielle NVIDIA-CUDA-Seite[1]). Heute ist sie der De-facto-Standard der KI-Rechenwelt: Unter PyTorch, TensorFlow und vLLM läuft nahezu das GPU-Backend aller wichtigen KI-Frameworks auf CUDA.
CUDA ist nicht nur ein „Treiber“ – es ist ein dreistufiger Software-Stack : unten Treiber und Hardware-Befehlssatz (bestimmt durch die „Compute Capability“ der Karte), in der Mitte das CUDA Toolkit (nvcc-Compiler, Runtime) samt der CUDA-X-Bibliotheksfamilie (cuBLAS/cuDNN/NCCL u. a.[2][3]) und oben Frameworks sowie eigene Anwendungen. Die beim Kartenkauf genannte „Compute Capability“ (z. B. H100=9.0, Blackwell=10.0) ist die Hardware-Generationsnummer der CUDA-Welt – der erste Abgleichsparameter bei Gebrauchtkarten-Prüfung und Framework-Kompatibilität (offizielle Referenztabelle[4])。
Für Einkäufer bedeutet CUDA zwei praktische Dinge: Ökosystem-Lock-in (eine Migration der CUDA-Produktionslinie zu ROCm/oneAPI hat reale Kosten, siehe „Grenzen und Kontroversen“) und Versionskompatibilität (die vom Framework geforderte CUDA-Version vs. Treiber und Compute Capability der Karte – ein Pflichtpunkt bei der Gebrauchtkarten-Prüfung). Dieser Eintrag ist ein Software-Konzepteintrag – er ergänzt die einzelnen Modelleinträge.
AIXX Index (0–100): gewichtete Schätzung nach Ökosystem-Passung (spezielle Methodik für Software-Konzepteinträge).
Im November 2006 erschien CUDA zusammen mit der GeForce 8800 (G80): Die Unified-Shader-Architektur machte die Stream-Prozessoren der GPU durch universelle Parallelprogramme steuerbar – damit stand der Name „Compute Unified Device Architecture“ (offizielle NVIDIA-CUDA-Seite und öffentliche Technikgeschichte[1]) – GPGPU wurde von einem akademischen Trick zur Engineering-Plattform.
2012–2016 , der Deep-Learning-Boom: AlexNet gewann den Wettbewerb mit zwei GTX 580 (öffentliche Technikgeschichte), CUDA-GPUs wurden seither die Standard-Rechenressource des Deep Learnings – spezialisierte Bibliotheken wie cuDNN reiften, die CUDA-X-Bibliotheksfamilie formierte sich (offizielle cuDNN-Seite[2])。
2017–2022 , die Datacenter-Ära: Volta (Compute Capability 7.0) führte Tensor Cores ein, CUDA wanderte von Consumer-Karten auf das Datacenter-Hauptfeld; die NCCL-Kollektivkommunikationsbibliothek wurde zum Standardbaustein des Multi-GPU-Trainings (offizielle NCCL-Seite[3]). Im Zeitalter von A100 (8.0) und H100 (9.0) wurde die Verzahnung von CUDA-Versionen und Framework-Ökosystem immer enger.
2023–2026 , die Blackwell-Ära: Die Compute Capability erreicht die 10.x-Generation (offizielle Referenztabelle[4]), FP4/FP8 werden vom CUDA-Stack nativ unterstützt; parallel holen ROCm (AMD) und oneAPI (Intel) als Alternative kontinuierlich auf – das Kräftemessen zwischen CUDA-Ökosystemherrschaft und Alternativen ist der Hintergrund der Rechenbeschaffung 2026 (siehe „Grenzen und Kontroversen“).
Die Compute Capability (oft abgekürzt CC/sm_XX) ist die „Hardware-Generationsnummer“ der CUDA-Welt – sie bestimmt, welche Befehlssätze eine Karte ausführt und wie Frameworks und Treiber sich anpassen. CC-Übersicht der in diesem Katalog angebotenen Modelle (maßgeblich ist die offizielle NVIDIA-Referenztabelle[4]):
| Modell | Architektur | Compute Capability | Eintrag im Katalog |
|---|---|---|---|
| B300-/GB300-Serie (Blackwell Ultra) | Blackwell Ultra | 10.x-Generation (laut offizieller Tabelle) | B300 |
| B200-/GB200-Serie (Blackwell) | Blackwell | 10.0 | Eintrag GB200 NVL72 |
| H100 / H200 / H20(Hopper) | Hopper | 9.0 | H200 |
| L40S / L40 / L20(Ada) | Ada Lovelace | 8.9 | L40S |
| A100 / A800(Ampere) | Ampere | 8.0 | A100 |
| RTX 6000 Ada / A-Serie Workstation-Karten | Ada / Ampere | 8.9 / 8.6 | Spec-Card RTX 6000 Ada |
Die vollständige Gesamtübersicht (alle Consumer-/Profi-Karten) führt die offizielle NVIDIA-Seite „CUDA GPUs“[4]; „maßgeblich ist die offizielle Tabelle“ bedeutet: Diese Tabelle listet nur die im Katalog angebotenen Modelle; die exakte Unterversion von Blackwell Ultra wird gemäß der offiziellen Tabelle aktualisiert, ohne Spekulation.
Schnellprüfung beim Gebrauchtkauf : Nach Erhalt einer Gebrauchtkarte zuerst nvidia-smi -q ausführen – Treiber und CUDA-Version (das vom Treiber unterstützte CUDA-Maximum) prüfen, dann mit der Compute Capability der Karte abgleichen. Erst wenn die Framework-Anforderung (z. B. die beim PyTorch-Build verwendete CUDA-Version) zur CC der Karte passt, ist die Karte „produktionslinie-tauglich“.
| Bibliothek | Funktion | Wer nutzt sie |
|---|---|---|
| cuBLAS | Lineare Algebra (u. a. Matrixmultiplikation) – das Rechenfundament des Deep Learnings | Alle Trainings-/Inferenz-Frameworks |
| cuDNN | Beschleunigung von Deep-Learning-Primitiven (Faltung/Attention u. a., offizielle Seite[2]) | Operatorfundament von Trainings- und Inferenz-Frameworks |
| NCCL | Kollektivkommunikation über mehrere Karten und Knoten (AllReduce u. a., offizielle Seite[3]) | Kommunikationsfundament des verteilten Trainings |
| CUDA-X Data Science / AI u. a. | Vertikale Bibliotheksfamilien für Datenverarbeitung, Empfehlungssysteme, Quantisierung u. a. (offizielle CUDA-X-Angaben) | Datenpipelines und vertikale Szenarien |
| nvcc / Nsight-Toolchain | Compiler und Performance-Analyse (Toolkit-Komponenten, offizielle Dokumentation[6]) | Entwicklung und Optimierung eigener Operatoren |
CUDA-X ist NVIDIAs Sammelbegriff für die GPU-beschleunigten Bibliotheksfamilien (offizielle Angaben); die Versionen der einzelnen Bibliotheken bilden mit der CUDA-Toolkit-Version eine Kompatibilitätsmatrix – vor dem Upgrade zuerst die Kompatibilitätstabelle prüfen (offizielle Dokumentation[6])。
| Szenario | Regel | Bedeutung für die Prüfung |
|---|---|---|
| Treiber vs. CUDA | Die Treiberversion bestimmt das maximal unterstützte CUDA (abwärtskompatibel) | Bei Gebrauchtkarten gilt: Die nvidia-smi rechts oben angezeigte CUDA-Version ist die Obergrenze der Treiberfähigkeit, nicht die installierte Toolkit-Version |
| Toolkit vs. Compute Capability | Neue Toolkits unterstützen neue CCs; mit alten Toolkits kompilierte Binaries laufen auf neuen Karten u. U. nur nach Neukompilierung | Die CUDA-Version des Framework-Images muss zur CC der Karte passen – alte Frameworks auf neuen Karten (z. B. CUDA-11.x-Image auf Blackwell) erfordern einen geprüften Kompatibilitätspfad |
| Forward Compatibility | Ein spezieller Treibermechanismus im Datacenter erlaubt neuen Karten das Ausführen alter CUDA-Binaries (offizielle Dokumentation[6]) | Ein Kompatibilitätsvorteil der Datacenter-Karten (Tesla-/Datacenter-Serie) – die konkrete Anwendung gemäß offizieller Dokumentation, nicht aus dem Gedächtnis |
Die Kompatibilitätsmatrix entwickelt sich mit den Versionen weiter, maßgeblich ist die offizielle NVIDIA-Dokumentation[6]; diese Tabelle gibt nur die Entscheidungsrichtung vor und ist kein Handbuch.
CUDA ist eine Softwareplattform ohne Hardware-Bildergalerie; der Software-Stack wird im Abschnitt „Technische Daten“ schematisch dargestellt. Offizielles Markenkmaterial gemäß NVIDIAs offiziellen Veröffentlichungen.
| Position | Status |
|---|---|
| Bezug | Das CUDA Toolkit wird über NVIDIAs offizielle Download-Seite verteilt (offizielle Angabe[5]); Treiber und Toolkit werden getrennt installiert |
| Framework-Unterstützung | PyTorch / TensorFlow / JAX / vLLM / TensorRT u. a. nutzen CUDA als primäres GPU-Backend |
| Containerisierung | NVIDIA Container Toolkit – Framework-Images bringen die CUDA-Runtime mit, der Host kümmert sich nur um den Treiber |
| Konkurrenz | AMD ROCm (HIP-Ökosystem), Intel oneAPI (SYCL-Familie) – Framework-Unterstützung und Operatorabdeckung holen kontinuierlich auf (siehe Grenzen und Kontroversen) |
| Codebestand | Zwei Jahrzehnte CUDA-Code (Paper-Replikationen/Open-Source-Repos/eigene Operatoren) sind der Kern der Migrationskosten |
Die Ökosysteminformationen sind eine Zusammenstellung öffentlicher Quellen; Versions- und Supportmatrizen entwickeln sich weiter, maßgeblich sind NVIDIAs offizielle Veröffentlichungen.
Drei CUDA-bezogene Prüfungen beim Kartenkauf (ergänzend zur Hardware-Prüfung im jeweiligen Modelleintrag):
nvidia-smi -q: Treiberversion und CUDA-Maximum, Kartenmodell und VRAM gegen die Verkäuferangaben abgleichen – Cloud-Sonderkarten (vGPU-Lizenzstatus) fallen in diesem Schritt auf.Die sechs Hardware-Stresstests finden sich in den jeweiligen Modelleinträgen (z. B. A100-/B300-Eintrag); dieser Abschnitt deckt nur die Software-Perspektive ab.
CUDA-Perspektive: Vier-Schritte-Schnellprüfung für Gebrauchtkarten (ergänzend zu den Hardware-Stresstests):
nvidia-smi -q: Kartenmodell, Treiberversion, CUDA-Version-Maximum, VBIOS – Position für Position gegen die Verkäuferangaben prüfen.torch.cuda.get_device_capability(): CC gegen die offizielle Tabelle abgleichen[4]—— Gefälschte Karten entlarven sich am CC.Die Hardware-Generationen der CUDA-Welt (z. B. 8.0/9.0/10.0): Sie bestimmen Befehlssatz und Features einer Karte – Frameworks und Compiler generieren/wählen Code anhand des CC. Beim Prüfkauf ist der Abgleich des CC mit der offiziellen Tabelle ein hartes Mittel zur Erkennung gefälschter Karten (offizielle Gegenüberstellung:[4])。
Der Compiler von CUDA C++ (Komponente des CUDA Toolkit): übersetzt Kernel-Funktionen in GPU-Binaries für eine bestimmte CC – die „Ziel-CC“ der Kompilierung bestimmt, auf welchen Karten das Binary läuft.
Mit Volta eingeführte Matrix-Recheneinheiten: die Hardware-Grundlage für Training mit gemischter Präzision – jede neue Präzision der Tensor Core pro Generation (FP16→BF16→FP8→FP4) wird zuerst vom CUDA-Stack unterstützt, ein klassischer Fall von „CUDA-Version folgt der Hardware“.
Zwei alternative Wege: AMD ROCm (HIP-Syntax liegt nah an CUDA, Reifegrad der Migrationstoolchain steigt kontinuierlich) und Intel oneAPI (SYCL als herstellerübergreifender Ansatz) – Operatorabdeckung und Tuning-Personal bleiben weiterhin der Abstand zu CUDA (Konsens öffentlicher Benchmarks).
Die Kompatibilitätsregeln von CUDA: Neue Treiber unterstützen alte CUDA-Versionen (Rückwärtskompatibilität, der Normalfall); Datacenter-Karten können über spezielle Mechanismen alte CUDA-Binaries auf neuen Karten ausführen (Vorwärtskompatibilität, offizielle Dokumentation[6]) – vor versionsübergreifenden Deployments die offizielle Dokumentation prüfen, nicht auf Bauchgefühl vertrauen.
Nein: Der Treiber ist die grundlegende Software, mit der das System die Karte erkennt; CUDA ist eine Parallelrechen-Plattform (Toolkit-Compiler + Runtime + die ganze CUDA-X-Bibliotheksfamilie). Die „CUDA Version“ oben rechts in nvidia-smi bezeichnet das von Treiber unterstützte CUDA-Maximum, nicht die installierte Toolkit-Version – das wird häufig verwechselt.
Die Compute Capability (CC) bestimmt, welche Befehlssätze und Framework-Features eine Karte ausführen kann: Ist die CC zu alt, läuft das neue Framework nicht; passt die CC nicht zum Kartenmodell, kann es eine Fälschung sein – der Abgleich des CC mit der offiziellen Tabelle (z. B. A100=8.0/H100=9.0/Blackwell=10.0) ist ein hartes Prüfmittel bei Gebrauchtkarten.
Drei Griffe: Treiber aktualisieren (hebt das CUDA-Maximum), ein zum Karten-CC passendes Framework-Image verwenden (Container bringt Runtime mit), bei Datacenter-Karten den offiziellen Vorwärtskompatibilitäts-Mechanismus prüfen. Maßgeblich für konkrete Kombinationen ist die NVIDIA-Dokumentation, nicht das Gedächtnis über Versionsgrenzen hinweg.
Szenarioabhängig: Übliche Modelle der gängigen Frameworks (PyTorch u. a.) laufen bereits unter ROCm, die HIP-Syntax liegt nah an CUDA, und die Migrationstools reifen; doch bei Operatorabdeckung, Tuning-Personal und zwanzig Jahren Code-Assets bleibt Abstand zu CUDA – neue Produktlinien können evaluieren, die Migration bestehender CUDA-Linien wird in Personenmonaten verrechnet.
Das CUDA-SDK ist nach den Vertriebsbedingungen von NVIDIA lizenziert, mit Einschränkungen für Übersetzung und Ausführung auf Nicht-NVIDIA-Hardware (öffentliche Diskussionslage) – das übliche „CUDA auf NVIDIA-Karten“ ist nicht betroffen; bei Compliance-Fragen zu plattformübergreifender Übersetzung gilt die rechtliche Beratung, die Angaben dieser Bibliothek stellen keine Rechtsberatung dar.