SECTIONS
EDITIONS
NETWORK
AIXX Pedia Die Enzyklopädie der Rechenleistung

AIXX Pedia › Software-Eintrag › CUDA

NVIDIA-Datacenter-Rack, offizielle Grafik (Herstellerbild)
NVIDIA Compute-Szenariokarte · AIXX Pedia (offizielle NVIDIA-Website)

CUDA

NVIDIA Parallel Computing Platform · seit 2006 · Software-Eintrag

Überblick OVERVIEW

CUDA ist NVIDIAs Parallele Rechenplattform und Programmiermodell : Im November 2006 zusammen mit der GeForce 8800 (G80, Unified-Shader-Architektur) eingeführt – sie verwandelte die GPU vom „Grafikprozessor“ in einen „universellen Parallelprozessor“, und Entwickler schreiben GPU-Programme direkt in einer C-ähnlichen Sprache (offizielle NVIDIA-CUDA-Seite[1]). Heute ist sie der De-facto-Standard der KI-Rechenwelt: Unter PyTorch, TensorFlow und vLLM läuft nahezu das GPU-Backend aller wichtigen KI-Frameworks auf CUDA.

CUDA ist nicht nur ein „Treiber“ – es ist ein dreistufiger Software-Stack : unten Treiber und Hardware-Befehlssatz (bestimmt durch die „Compute Capability“ der Karte), in der Mitte das CUDA Toolkit (nvcc-Compiler, Runtime) samt der CUDA-X-Bibliotheksfamilie (cuBLAS/cuDNN/NCCL u. a.[2][3]) und oben Frameworks sowie eigene Anwendungen. Die beim Kartenkauf genannte „Compute Capability“ (z. B. H100=9.0, Blackwell=10.0) ist die Hardware-Generationsnummer der CUDA-Welt – der erste Abgleichsparameter bei Gebrauchtkarten-Prüfung und Framework-Kompatibilität (offizielle Referenztabelle[4])。

Für Einkäufer bedeutet CUDA zwei praktische Dinge: Ökosystem-Lock-in (eine Migration der CUDA-Produktionslinie zu ROCm/oneAPI hat reale Kosten, siehe „Grenzen und Kontroversen“) und Versionskompatibilität (die vom Framework geforderte CUDA-Version vs. Treiber und Compute Capability der Karte – ein Pflichtpunkt bei der Gebrauchtkarten-Prüfung). Dieser Eintrag ist ein Software-Konzepteintrag – er ergänzt die einzelnen Modelleinträge.

Einsatzszenarien FIT

AIXX Index (0–100): gewichtete Schätzung nach Ökosystem-Passung (spezielle Methodik für Software-Konzepteinträge).

GPU-Backends von KI-Frameworks 96AIXX Index
De-facto-Standard der GPU-Backends von PyTorch/TensorFlow/vLLM – CUDA-Versionskompatibilität ist die erste Hürde bei der Kartenwahl für Frameworks.
Entwicklung eigener Operatoren 93AIXX Index
CUDA C++ zum direkten Schreiben von Kernfunktionen: der letzte Weg zu extremer Performance – maßgeschneiderte Operatoren für Inferenz-Engines und HPC-Portierungen führen über diesen Weg.
Beschleunigung wissenschaftlicher Berechnungen 87AIXX Index
cuBLAS/cuFFT und die CUDA-X-Bibliotheken decken lineare Algebra bis Fouriertransformation ab – zwei Jahrzehnte Codebestand sind der eigentliche Burggraben von CUDA.
Nicht-NVIDIA-Hardware 35AIXX Index
CUDA-kompilierte Binaries zielen auf die NVIDIA-Architektur – AMD-Karten laufen über ROCm/HIP, Intel über oneAPI; die Migration kostet real (siehe Grenzen und Kontroversen).

Historie HISTORY

Im November 2006 erschien CUDA zusammen mit der GeForce 8800 (G80): Die Unified-Shader-Architektur machte die Stream-Prozessoren der GPU durch universelle Parallelprogramme steuerbar – damit stand der Name „Compute Unified Device Architecture“ (offizielle NVIDIA-CUDA-Seite und öffentliche Technikgeschichte[1]) – GPGPU wurde von einem akademischen Trick zur Engineering-Plattform.

2012–2016 , der Deep-Learning-Boom: AlexNet gewann den Wettbewerb mit zwei GTX 580 (öffentliche Technikgeschichte), CUDA-GPUs wurden seither die Standard-Rechenressource des Deep Learnings – spezialisierte Bibliotheken wie cuDNN reiften, die CUDA-X-Bibliotheksfamilie formierte sich (offizielle cuDNN-Seite[2])。

2017–2022 , die Datacenter-Ära: Volta (Compute Capability 7.0) führte Tensor Cores ein, CUDA wanderte von Consumer-Karten auf das Datacenter-Hauptfeld; die NCCL-Kollektivkommunikationsbibliothek wurde zum Standardbaustein des Multi-GPU-Trainings (offizielle NCCL-Seite[3]). Im Zeitalter von A100 (8.0) und H100 (9.0) wurde die Verzahnung von CUDA-Versionen und Framework-Ökosystem immer enger.

2023–2026 , die Blackwell-Ära: Die Compute Capability erreicht die 10.x-Generation (offizielle Referenztabelle[4]), FP4/FP8 werden vom CUDA-Stack nativ unterstützt; parallel holen ROCm (AMD) und oneAPI (Intel) als Alternative kontinuierlich auf – das Kräftemessen zwischen CUDA-Ökosystemherrschaft und Alternativen ist der Hintergrund der Rechenbeschaffung 2026 (siehe „Grenzen und Kontroversen“).

Compute-Capability-Referenz COMPUTE CAPABILITY

Die Compute Capability (oft abgekürzt CC/sm_XX) ist die „Hardware-Generationsnummer“ der CUDA-Welt – sie bestimmt, welche Befehlssätze eine Karte ausführt und wie Frameworks und Treiber sich anpassen. CC-Übersicht der in diesem Katalog angebotenen Modelle (maßgeblich ist die offizielle NVIDIA-Referenztabelle[4]):

ModellArchitekturCompute CapabilityEintrag im Katalog
B300-/GB300-Serie (Blackwell Ultra)Blackwell Ultra10.x-Generation (laut offizieller Tabelle)B300
B200-/GB200-Serie (Blackwell)Blackwell10.0Eintrag GB200 NVL72
H100 / H200 / H20(Hopper)Hopper9.0H200
L40S / L40 / L20(Ada)Ada Lovelace8.9L40S
A100 / A800(Ampere)Ampere8.0A100
RTX 6000 Ada / A-Serie Workstation-KartenAda / Ampere8.9 / 8.6Spec-Card RTX 6000 Ada

Die vollständige Gesamtübersicht (alle Consumer-/Profi-Karten) führt die offizielle NVIDIA-Seite „CUDA GPUs“[4]; „maßgeblich ist die offizielle Tabelle“ bedeutet: Diese Tabelle listet nur die im Katalog angebotenen Modelle; die exakte Unterversion von Blackwell Ultra wird gemäß der offiziellen Tabelle aktualisiert, ohne Spekulation.

Schnellprüfung beim Gebrauchtkauf : Nach Erhalt einer Gebrauchtkarte zuerst nvidia-smi -q ausführen – Treiber und CUDA-Version (das vom Treiber unterstützte CUDA-Maximum) prüfen, dann mit der Compute Capability der Karte abgleichen. Erst wenn die Framework-Anforderung (z. B. die beim PyTorch-Build verwendete CUDA-Version) zur CC der Karte passt, ist die Karte „produktionslinie-tauglich“.

Die CUDA-X-Bibliotheksfamilie LIBRARIES

BibliothekFunktionWer nutzt sie
cuBLASLineare Algebra (u. a. Matrixmultiplikation) – das Rechenfundament des Deep LearningsAlle Trainings-/Inferenz-Frameworks
cuDNNBeschleunigung von Deep-Learning-Primitiven (Faltung/Attention u. a., offizielle Seite[2])Operatorfundament von Trainings- und Inferenz-Frameworks
NCCLKollektivkommunikation über mehrere Karten und Knoten (AllReduce u. a., offizielle Seite[3])Kommunikationsfundament des verteilten Trainings
CUDA-X Data Science / AI u. a.Vertikale Bibliotheksfamilien für Datenverarbeitung, Empfehlungssysteme, Quantisierung u. a. (offizielle CUDA-X-Angaben)Datenpipelines und vertikale Szenarien
nvcc / Nsight-ToolchainCompiler und Performance-Analyse (Toolkit-Komponenten, offizielle Dokumentation[6])Entwicklung und Optimierung eigener Operatoren

CUDA-X ist NVIDIAs Sammelbegriff für die GPU-beschleunigten Bibliotheksfamilien (offizielle Angaben); die Versionen der einzelnen Bibliotheken bilden mit der CUDA-Toolkit-Version eine Kompatibilitätsmatrix – vor dem Upgrade zuerst die Kompatibilitätstabelle prüfen (offizielle Dokumentation[6])。

Versionen und Kompatibilität COMPATIBILITY

SzenarioRegelBedeutung für die Prüfung
Treiber vs. CUDADie Treiberversion bestimmt das maximal unterstützte CUDA (abwärtskompatibel)Bei Gebrauchtkarten gilt: Die nvidia-smi rechts oben angezeigte CUDA-Version ist die Obergrenze der Treiberfähigkeit, nicht die installierte Toolkit-Version
Toolkit vs. Compute CapabilityNeue Toolkits unterstützen neue CCs; mit alten Toolkits kompilierte Binaries laufen auf neuen Karten u. U. nur nach NeukompilierungDie CUDA-Version des Framework-Images muss zur CC der Karte passen – alte Frameworks auf neuen Karten (z. B. CUDA-11.x-Image auf Blackwell) erfordern einen geprüften Kompatibilitätspfad
Forward CompatibilityEin spezieller Treibermechanismus im Datacenter erlaubt neuen Karten das Ausführen alter CUDA-Binaries (offizielle Dokumentation[6])Ein Kompatibilitätsvorteil der Datacenter-Karten (Tesla-/Datacenter-Serie) – die konkrete Anwendung gemäß offizieller Dokumentation, nicht aus dem Gedächtnis

Die Kompatibilitätsmatrix entwickelt sich mit den Versionen weiter, maßgeblich ist die offizielle NVIDIA-Dokumentation[6]; diese Tabelle gibt nur die Entscheidungsrichtung vor und ist kein Handbuch.

CUDA ist eine Softwareplattform ohne Hardware-Bildergalerie; der Software-Stack wird im Abschnitt „Technische Daten“ schematisch dargestellt. Offizielles Markenkmaterial gemäß NVIDIAs offiziellen Veröffentlichungen.

Software & Ökosystem ECOSYSTEM

PositionStatus
BezugDas CUDA Toolkit wird über NVIDIAs offizielle Download-Seite verteilt (offizielle Angabe[5]); Treiber und Toolkit werden getrennt installiert
Framework-UnterstützungPyTorch / TensorFlow / JAX / vLLM / TensorRT u. a. nutzen CUDA als primäres GPU-Backend
ContainerisierungNVIDIA Container Toolkit – Framework-Images bringen die CUDA-Runtime mit, der Host kümmert sich nur um den Treiber
KonkurrenzAMD ROCm (HIP-Ökosystem), Intel oneAPI (SYCL-Familie) – Framework-Unterstützung und Operatorabdeckung holen kontinuierlich auf (siehe Grenzen und Kontroversen)
CodebestandZwei Jahrzehnte CUDA-Code (Paper-Replikationen/Open-Source-Repos/eigene Operatoren) sind der Kern der Migrationskosten

Die Ökosysteminformationen sind eine Zusammenstellung öffentlicher Quellen; Versions- und Supportmatrizen entwickeln sich weiter, maßgeblich sind NVIDIAs offizielle Veröffentlichungen.

Beschaffungsperspektive PROCUREMENT VIEW

Drei CUDA-bezogene Prüfungen beim Kartenkauf (ergänzend zur Hardware-Prüfung im jeweiligen Modelleintrag):

1
Compute Capability vs. Framework
Die vom Zielframework/Image geforderte CUDA-Version muss zur CC der Karte passen (Tabelle oben) – eine „günstige alte Karte“, deren CC zu alt für neue Frameworks ist, spart nur Schein-Geld.
2
Treiber-Obergrenze praxisnah prüfen
Nach Erhalt zuerst nvidia-smi -q: Treiberversion und CUDA-Maximum, Kartenmodell und VRAM gegen die Verkäuferangaben abgleichen – Cloud-Sonderkarten (vGPU-Lizenzstatus) fallen in diesem Schritt auf.
3
Versteckte Kosten des Software-Stack-Wechsels
Der Wechsel einer CUDA-Produktlinie zu ROCm/oneAPI wird in Personenmonaten berechnet (Framework-Versionen, Operatorabdeckung, Optimierungserfahrung – dreifacher Kostenaufwand) – den „Kartenpreisunterschied“ erst gegen die „Gesamtmigrationsrechnung“ stellen, dann entscheiden.

Die sechs Hardware-Stresstests finden sich in den jeweiligen Modelleinträgen (z. B. A100-/B300-Eintrag); dieser Abschnitt deckt nur die Software-Perspektive ab.

Schnellprüfung bei Gebrauchtkauf QUICK CHECK

CUDA-Perspektive: Vier-Schritte-Schnellprüfung für Gebrauchtkarten (ergänzend zu den Hardware-Stresstests):

1
Identität und Obergrenze
nvidia-smi -q: Kartenmodell, Treiberversion, CUDA-Version-Maximum, VBIOS – Position für Position gegen die Verkäuferangaben prüfen.
2
Compute Capability bestätigen
deviceQuery (CUDA Samples) oder im Framework torch.cuda.get_device_capability(): CC gegen die offizielle Tabelle abgleichen[4]—— Gefälschte Karten entlarven sich am CC.
3
Frameworks real testen
Einmal Standard-Forward- und Backward-Pass im Zielframework ausführen: Initialisierung funktioniert, Training läuft, keine Operator-Fallback-Fehler – papierene Kompatibilität heißt nicht, dass es in der Praxis läuft.
4
Lizenzstatus
Prüfung von vGPU/Lizenzstatus bei Cloud-Sonderkarten: Karten mit Lizenzsperre verursachen Kosten bei der Umwidmung, die in den Gesamtpreis einzurechnen sind (Prüferfahrung dieser Bibliothek).

Versand & Auslieferung LOGISTICS

1
Software-Inventar zur Lieferung
Die Lieferung einer Karte umfasst mehr als Hardware: Treiberversion, Lizenzstatus, Testprotokolle des Herstellers (inkl. CUDA-Laufzeit-Screenshots) werden mitgeliefert und mitgezählt – der Softwarezustand macht die Hälfte des Werts einer Gebrauchtkarte aus.
2
Lizenzierung und Compliance
Die CUDA-Softwarelizenz unterliegt den Vertriebsbedingungen des NVIDIA SDK (EULA) mit Einschränkungen für die Übersetzung auf Nicht-NVIDIA-Plattformen (öffentliche Diskussionslage) – im Unternehmenskontext gilt die rechtliche Beratung; die Angaben dieser Bibliothek stellen keine Rechtsberatung dar.

Glossarkarten GLOSSARY

Compute Capability

Die Hardware-Generationen der CUDA-Welt (z. B. 8.0/9.0/10.0): Sie bestimmen Befehlssatz und Features einer Karte – Frameworks und Compiler generieren/wählen Code anhand des CC. Beim Prüfkauf ist der Abgleich des CC mit der offiziellen Tabelle ein hartes Mittel zur Erkennung gefälschter Karten (offizielle Gegenüberstellung:[4])。

nvcc

Der Compiler von CUDA C++ (Komponente des CUDA Toolkit): übersetzt Kernel-Funktionen in GPU-Binaries für eine bestimmte CC – die „Ziel-CC“ der Kompilierung bestimmt, auf welchen Karten das Binary läuft.

cuDNN / NCCL

Zwei Stars unter den CUDA-X-Bibliotheken: cuDNN beschleunigt Deep-Learning-Primitive (Faltung/Attention), NCCL übernimmt die kollektive Multi-GPU-Kommunikation – die beiden Fundamente, auf denen Trainingsframeworks „schnell laufen“ (Angabe der offiziellen Seiten).[2][3])。

Tensor Core

Mit Volta eingeführte Matrix-Recheneinheiten: die Hardware-Grundlage für Training mit gemischter Präzision – jede neue Präzision der Tensor Core pro Generation (FP16→BF16→FP8→FP4) wird zuerst vom CUDA-Stack unterstützt, ein klassischer Fall von „CUDA-Version folgt der Hardware“.

ROCm und oneAPI

Zwei alternative Wege: AMD ROCm (HIP-Syntax liegt nah an CUDA, Reifegrad der Migrationstoolchain steigt kontinuierlich) und Intel oneAPI (SYCL als herstellerübergreifender Ansatz) – Operatorabdeckung und Tuning-Personal bleiben weiterhin der Abstand zu CUDA (Konsens öffentlicher Benchmarks).

Vorwärtskompatibilität / Rückwärtskompatibilität

Die Kompatibilitätsregeln von CUDA: Neue Treiber unterstützen alte CUDA-Versionen (Rückwärtskompatibilität, der Normalfall); Datacenter-Karten können über spezielle Mechanismen alte CUDA-Binaries auf neuen Karten ausführen (Vorwärtskompatibilität, offizielle Dokumentation[6]) – vor versionsübergreifenden Deployments die offizielle Dokumentation prüfen, nicht auf Bauchgefühl vertrauen.

Grenzen & Kontroversen LIMITS

  • Die realen Kosten des Ökosystem-Lock-ins : Die Migration einer CUDA-Produktionslinie zu ROCm/oneAPI = Framework-Anpassung + Lücken in der Operatorabdeckung + mühsam neu aufzubauende Tuning-Erfahrung, dreifach kombiniert, in Personenmonaten gerechnet – die „Preisdifferenz der Karten“ erst gegen die „Migrationsgesamtrechnung“ stellen, dann entscheiden (Konsens öffentlicher Benchmarks).
  • Grenzfragen der Lizenzbedingungen : Die CUDA-SDK-Lizenz enthält Einschränkungen für die Übersetzung und Ausführung auf Nicht-NVIDIA-Hardware; die öffentliche Diskussion darüber hält an (Lage öffentlicher Berichterstattung) – im Unternehmenskontext gilt die rechtliche Beratung; die Angaben dieser Bibliothek stellen keine Rechtsberatung dar.
  • Die Komplexität der Versionsmatrix : Das Zusammenspiel der vier Ebenen Treiber/Toolkit/Framework/Bibliotheken ist die Hauptquelle operativer Komplexität – Containerisierung (Images bringen die Runtime mit) ist der gängige Ausweg, doch die Obergrenze des Host-Treibers bleibt wirksam (offizielle Dokumentation.[6])。
  • Generationenkonflikt zwischen alten Karten und neuen Frameworks : Neue Framework-Versionen stellen die Unterstützung zu alter CC nach und nach ein – „Billige alte Karte, neues Framework“ ist zu verifizieren, nicht anzunehmen (Prüferfahrung dieser Bibliothek).
  • Dieser Eintrag folgt der Software-Konzeptperspektive : Konkrete CUDA-Leistungszahlen (Benchmarks der verschiedenen Frameworks) entwickeln sich mit den Versionen schnell weiter; diese Bibliothek leistet keinen Momentaufnahme-Vergleich – maßgeblich sind offizielle Veröffentlichungen und unabhängige Benchmarks.

FAQ FAQ

Was ist CUDA? Dasselbe wie der Treiber?

Nein: Der Treiber ist die grundlegende Software, mit der das System die Karte erkennt; CUDA ist eine Parallelrechen-Plattform (Toolkit-Compiler + Runtime + die ganze CUDA-X-Bibliotheksfamilie). Die „CUDA Version“ oben rechts in nvidia-smi bezeichnet das von Treiber unterstützte CUDA-Maximum, nicht die installierte Toolkit-Version – das wird häufig verwechselt.

Warum beim Gebrauchtkartenkauf auf die Compute Capability achten?

Die Compute Capability (CC) bestimmt, welche Befehlssätze und Framework-Features eine Karte ausführen kann: Ist die CC zu alt, läuft das neue Framework nicht; passt die CC nicht zum Kartenmodell, kann es eine Fälschung sein – der Abgleich des CC mit der offiziellen Tabelle (z. B. A100=8.0/H100=9.0/Blackwell=10.0) ist ein hartes Prüfmittel bei Gebrauchtkarten.

Was tun bei CUDA-Versionsinkompatibilität?

Drei Griffe: Treiber aktualisieren (hebt das CUDA-Maximum), ein zum Karten-CC passendes Framework-Image verwenden (Container bringt Runtime mit), bei Datacenter-Karten den offiziellen Vorwärtskompatibilitäts-Mechanismus prüfen. Maßgeblich für konkrete Kombinationen ist die NVIDIA-Dokumentation, nicht das Gedächtnis über Versionsgrenzen hinweg.

Kann ROCm auf AMD-Karten CUDA ersetzen?

Szenarioabhängig: Übliche Modelle der gängigen Frameworks (PyTorch u. a.) laufen bereits unter ROCm, die HIP-Syntax liegt nah an CUDA, und die Migrationstools reifen; doch bei Operatorabdeckung, Tuning-Personal und zwanzig Jahren Code-Assets bleibt Abstand zu CUDA – neue Produktlinien können evaluieren, die Migration bestehender CUDA-Linien wird in Personenmonaten verrechnet.

Was ist bei der CUDA-Lizenz zu beachten?

Das CUDA-SDK ist nach den Vertriebsbedingungen von NVIDIA lizenziert, mit Einschränkungen für Übersetzung und Ausführung auf Nicht-NVIDIA-Hardware (öffentliche Diskussionslage) – das übliche „CUDA auf NVIDIA-Karten“ ist nicht betroffen; bei Compliance-Fragen zu plattformübergreifender Übersetzung gilt die rechtliche Beratung, die Angaben dieser Bibliothek stellen keine Rechtsberatung dar.

H200A100B300L40SConnectX-7NVMe All-Flash-SpeichercuDNN / NCCLTensor CoreROCm / oneAPI im Vergleich

Weiterführende Lektüre EXPLORE

Quellen REFERENCES

  1. NVIDIA-Website — CUDA Zone (offizielle CUDA-Hauptdokumentation) https://developer.nvidia.com/cuda-zone
  2. NVIDIA-Website — cuDNN-Produktseite (Perspektive CUDA-X Deep-Learning-Bibliothek) https://developer.nvidia.com/cudnn
  3. NVIDIA-Website — NCCL-Produktseite (Perspektive der Kollektivkommunikationsbibliothek) https://developer.nvidia.com/nccl
  4. NVIDIA-Dokumentation — CUDA GPUs: vollständige Compute-Capability-Tabelle (Referenzdokument für den CC-Vergleich, Stand 2026-10) https://developer.nvidia.com/cuda-gpus
  5. NVIDIA-Website — CUDA-Toolkit-Downloadseite (Vertriebsperspektive) https://developer.nvidia.com/cuda-downloads
  6. NVIDIA-Dokumentation — CUDA Toolkit & Treiber-Kompatibilitätsmatrix (Versionsabstimmung sowie Vor-/Rückwärtskompatibilität) https://docs.nvidia.com/cuda/
  7. Angebotssuche — AIXX Börse (provisionsfreie Vermittlung, Kartenberatung aus CUDA-Kompatibilitätssicht) https://www.aixx.vip/hall.html
Versionen und Korrekturen | Dieser Eintrag wird von der AIXX Pedia-Redaktion gepflegt: KI-gestützt entworfen, Fakten manuell verifiziert. Aktualisiert am 10.10.2026 · Version v1.0 · Jede Änderung ist nachvollziehbar dokumentiert. Fehler entdeckt? Gerne über Korrekturkanal einreichen – nach Prüfung erfolgt eine öffentliche Korrektur mit Eintrag in der Versionshistorie.

Videoerklärung VIDEO

Datenbank
RedaktionsrichtlinienInteressenmeldung zu dieser DatenbankKorrekturkanal
Auszug aus der Redaktionsverfassung
Jede Aussage mit QuelleSchwächen immer benannt · Korrekturen öffentlich dokumentiertKeine bezahlten EinträgeKeine Werbung oder Verkaufselemente in EinträgenMarktdaten ausschließlich als Datenmodul eingebunden
AIXX-Familie
AIXX PediaAIXX BörseAIXX News
Quellen der Marktdaten: AIXX Börse · © 2026 AIXX Pedia · Ein Angebot von AIXX