Spec-Card SPEC CARD
NVIDIA GeForce RTX 3090
König des Gebrauchtmarkt-Umlaufs unter Consumer-Karten mit 24 GB großem Videospeicher: Die Single-GPU mit extrem hoher Marktdurchdringung im AI-Inferenz- und Rechenkraft-Mietmarkt, 24 GB VRAM + FP32 35,6 TFLOPS decken Inferenz für kleine und mittlere Modelle sowie Quantisierungs-Inferenz großer Modelle ab, reichhaltiges Gebrauchtangebot mit transparenten Preisen; als einzige Karte der 30er-Serie zum Launch (neben der späteren 3090 Ti) mit NVLink 3.0 bei 112,5 GB/s bidirektional, per Dual-GPU-Bridging lässt sich ein 48-GB-VRAM-Pool für kleines Training oder Inferenz mit großem Speicherbedarf aufbauen — ein Differenzierungsmerkmal im Mietgeschäft; 350 W Leistungsaufnahme ist für das Strommanagement vermieteter Rechenzentren angenehm; MSRP 1.499 $
Überblick
Die NVIDIA GeForce RTX 3090 ist eine Flaggschiff-Consumer-Grafikkarte auf Basis der Ampere-Architektur (GA102-Chip) mit 24 GB GDDR6X und 384-Bit-Bus, einer FP32-Leistung von 35,6 TFLOPS sowie Tensor Cores der dritten und RT Cores der zweiten Generation. Dank des großen 24-GB-Videospeichers und der hohen Verfügbarkeit auf dem Gebrauchtmarkt findet sie breite Anwendung im AI-Inferenz- und GPU-Mietbereich; zugleich ist sie eines der wenigen Modelle der 30er-Serie mit NVLink 3.0 (112,5 GB/s bidirektional), womit sich per Bridging der Speicher mehrerer Karten zusammenführen lässt — für Inferenz kleiner und mittlerer Modelle ebenso wie für Quantisierungs-Inferenz großer Modelle.
Kernspezifikationen
| Architektur | Ampere (GA102-300, 82 SM) |
| Speicher | 24GB GDDR6X |
| VRAM-Bandbreite | 936GB/s (19.5Gbps x 384bit) |
| Speicherbusbreite | 384bit |
| Rechenleistung | FP32 35,6 TFLOPS / Tensor 142 TFLOPS [284 sparsam] |
| CUDA-Kerne | 10496 (82 SM) / Tensor Core 328 (3. Gen.) / RT Core 82 (2. Gen.) |
| Verbrauch | 350 W TGP (Systemnetzteil 750 W empfohlen) |
| Interconnect | PCIe Gen4 x16 + NVLink 3.0 bidirektional 112,5 GB/s (als einzige zum Launch der 30er-Serie mit NVLink ausgestattete Consumer-Karte, neben der späteren 3090 Ti; ab der 40er-Serie entfernt) |
| Erscheinungsjahr | 2020 (Vorstellung am 2020-09-01, Verkauf ab 2020-09-24, MSRP 1.499 $) |
| Taktraten | Base 1.40GHz / Boost 1.70GHz |
| Fertigung | Samsung 8N, 28,3 Mrd. Transistoren, 628,4 mm² (GA102 voll bestückt: 84 SM / 10752 CUDA, die 3090 aktiviert 82) |
| Media Engine | NVENC der 7. Generation / NVDEC der 5. Generation |
| Displayausgänge | HDMI 2.1 + DP 1.4a x3, 4 Displays, HDCP 2.3, 7680x4320 |
| Formfaktor | FE: drei Slots, 313x138 mm, Stromversorgung 2x 8-Pin (1x 12-Pin-Adapter beiliegend), 750-W-Netzteil erforderlich |
| CUDA Compute Capability | Compute Capability 8.6 |
Spezifikationen anhand offizieller Quellen verifiziert (
Offizielle Benchmarks , aktualisiert am 10.10.2026) · Der tatsächliche Preis richtet sich nach dem Angebot des Verkäufers
Einsatzszenarien
- Lokaler Inferenzbetrieb für Modelle mit kleiner bis mittlerer Parameterzahl — 24 GB VRAM fassen komplette Inferenz-Gewichte und KV-Cache
- Quantisierungs-Inferenz großer Modelle (INT8/INT4 und andere Formate geringer Präzision) als praktikable Offline- und Online-Lösung bei knappem Speicher
- Aufbau einer Speicher-Zusammenführung per NVLink-3.0-Bridge für kleines Training oder Inferenzaufgaben mit Speicherbedarf jenseits einer einzelnen Karte
- Deep-Learning-Testumgebungen für Einzelentwickler und Hochschullabore — CUDA Capability 8.6 ist kompatibel mit gängigen Frameworks und Operatoren
Modelle der Familie
| Modell | Speicher | Verbrauch |
|---|
| NVIDIA T4 Vergleich | 16GB GDDR6 mit ECC (standardmäßig aktiviert) | 70W (Gesamtboardleistung, Standard) |
| NVIDIA A100 Vergleich | 40GB HBM2 / 80GB HBM2e in zwei Varianten (80-GB-Variante nachgelegt auf der SC20 am 16.11.2020), mit ECC | SXM4 400W (40GB/80GB identisch); PCIe-Version 40GB 250W / 80GB 300W |
| NVIDIA H20 Vergleich | 96GB HBM3 (konsistent bei Flopper/VipraTech/Tencent News) | 400W TDP (dreifach belegt: Flopper/VipraTech-Datenblatt/Tencent News mit „Wärmeleistung 400W“; widersprüchliche Angabe 350W im VipraTech-Fließtext verworfen) |
| NVIDIA GB300 Vergleich | 288GB HBM3e (pro GPU-Package; 576GB im Superchip; parallel HGX auf Board-Ebene 2,1 TB / Rack 20 TB) | TGP bis 1400W |
| NVIDIA A30 Vergleich | 24 GB HBM2 | 165 W |
| NVIDIA GeForce RTX 4090 Vergleich | 24GB GDDR6X | 450W TGP (Spiele im Schnitt 315W, empfohlenes Netzteil 850W) |
Videoerklärung VIDEO
Wichtige Punkte für Kauf und Prüfung
- Die Karte belegt drei Slots (Founders Edition: 313 mm x 138 mm) — vor dem Kauf Gehäuse und Slotabstand des Mainboards prüfen; bei Multi-GPU-Setups sind Slotabstand und Luftführung besonders kritisch. Die Stromversorgung benötigt zwei PCIe-8-Pin-Anschlüsse (Adapter auf 1x 12-Pin beiliegend); die Verkabelung im RZ sollte Reserve für die Volllast der Karte einplanen, das Systemnetzteil sollte mindestens der Herstellerempfehlung entsprechen
- Bevorzugt eine NVLink-fähige Variante wählen und prüfen, ob eine NVLink-Bridge beiliegt oder separat beschafft werden kann; für eine Speicher-Zusammenführung die Bridge-Kompatibilität von Mainboard und Halterung verifizieren. Achtung: Vom GA102 existieren die Steppings GA102-300 und GA102-250 — bei der Abnahme lassen sich CUDA-Kernanzahl (10.496) und SM-Anzahl (82) per Software verifizieren
- Prüfschwerpunkte beim Gebrauchtkauf: Speicherbausteine und Spannungsversorgung auf früheren Volllastbetrieb hin inspizieren, per Lasttest Temperatur (Grenze 93 °C) und Throttling-Verhalten beobachten; bestätigen, dass die Videoausgänge HDMI 2.1 + 3x DP 1.4a intakt sind; prüfen, ob die PCIe-Gen4-x16-Verhandlung korrekt läuft, um aufgearbeitete Mining-Karten oder Speicherdefekte auszuschließen
FAQ
Reichen die 24 GB VRAM der RTX 3090 für Inferenz großer Modelle aus?
Bei FP16-Präzision decken 24 GB die komplette Inferenz kleiner bis mittlerer Modelle ab; bei größeren Parameterzahlen kommt in der Regel eine Quantisierung auf INT8 oder INT4 zum Einsatz, bevor das Modell ausgerollt wird. Zudem bietet die Karte NVLink 3.0 (112,5 GB/s bidirektional) — per Dual-GPU-Bridge lässt sich der Speicherpool zusammenführen und die lauffähige Modellgröße erweitern.
Kann man mit zwei RTX 3090 per NVLink trainieren?
Ja. Die RTX 3090 gehört zu den Modellen der 30er-Serie mit NVLink-Unterstützung; NVLink 3.0 stellt 112,5 GB/s bidirektionale Interconnect-Bandbreite bereit. Nach dem Bridging lassen sich die Speicher beider Karten zusammen nutzen — geeignet für kleinere Trainingsaufgaben oder Inferenzlasten, die den Speicher einer einzelnen Karte übersteigen. Zu beachten: Es wird eine separate NVLink-Bridge benötigt, und der Kartenabstand muss passen.
Worauf sollte man beim Gebrauchtkauf einer RTX 3090 achten?
Empfohlene Prüfpunkte: Erstens die Spezifikation mit Tools wie GPU-Z verifizieren (10.496 CUDA-Kerne, 82 SM, 24 GB GDDR6X, 384-Bit-Bus); zweitens einen dauerhaften Speicher- und Kern-Stresstest durchführen und dabei Temperatur (Grenze 93 °C), Throttling oder Bildfehler beobachten; drittens die Stromanschlüsse (2x PCIe 8-Pin) und Videoausgänge auf Intaktheit sowie eine korrekte PCIe-Gen4-x16-Verhandlung prüfen.