Spec-Card SPEC CARD
NVIDIA T4
Eine der meistdeployten Inferenzkarten aller Zeiten: 70 W Slot-Power, Single-Slot, Low-Profile, passiv gekühlt – passt in praktisch jeden Server. INT8 mit 130 TOPS für Multi-Precision-Inferenz kombiniert mit 38 parallelen Video-Decode-Streams. Die T4-Instanzen der großen Cloud-Anbieter (z. B. AWS G4dn mit 8 Karten) haben riesige Bestände geschaffen, was sie zur am leichtesten verfügbaren Einstiegs-Inferenzkarte auf dem Gebrauchtmarkt macht.
Überblick
Die NVIDIA T4 ist eine PCIe-Beschleunigerkarte auf Basis der Turing-Architektur mit einem TU104 GPU, ausgestattet mit 320 Tensor Cores und 40 RT Cores. Der 16 GB GDDR6-Speicher ist über ein 256-bit-Interface angebunden, die Anbindung an den Host erfolgt über x16 PCIe Gen3. Die typische Performance liegt bei 8,1 TFLOPS Single Precision, 65 TFLOPS gemischte Präzision, 130 TOPS INT8 und 260 TOPS INT4. Die T4 ist als passive Single-Slot-Karte in halber Bauhöhe und halber Länge ausgelegt, die Boardschnittstellenleistung ist auf 70 W begrenzt, ein externer Poweranschluss entfällt – ideal für Server mit hoher Dichte. Sie eignet sich zugleich für Deep-Learning-Inferenz und Video-Decode-Beschleunigung und ist als Allzweck-Inferenzkarte in Cloud-Instanzen und Edge-Servern weit verbreitet.
Kernspezifikationen
| Architektur | Turing (TU104-895) |
| Speicher | 16GB GDDR6 mit ECC (standardmäßig aktiviert) |
| VRAM-Bandbreite | 320 GB/s (in frühen Fassungen des Datenblatts mit 300 GB/s angegeben) |
| Speicherbusbreite | 256bit |
| Rechenleistung | FP32 8,1 TFLOPS / FP16·FP32 gemischte Präzision 65 TFLOPS / INT8 130 TOPS / INT4 260 TOPS |
| CUDA-Kerne | 2,560 (40 SM) / Tensor Core 320 / RT Core 40 |
| Verbrauch | 70W (Gesamtboardleistung, Standard) |
| Interconnect | PCIe Gen3 x16 (Betrieb mit x8 möglich, Interconnect-BW 32 GB/s) |
| Erscheinungsjahr | 2018 (Product Brief v01, Erstfassung 24.10.2018, Datenblatt Dec18 © 2018 NVIDIA) |
| Formfaktor | Single-Slot, halbe Bauhöhe und halbe Länge, Low-Profile 6,6 Zoll (Länge 169,53 mm), passive Kühlung, Kartengewicht 301 g |
| Taktraten | Base 585 MHz / Boost 1590 MHz (Base auf die 70-W-Leistungsgrenze abgestimmt) |
| Media Engine | 1080p30-Decode: H.264 32 Streams / HEVC 44 Streams / VP9 32 Streams |
| SR-IOV | Supported; 16 VF (unterstützt) |
| Fertigung | 12 nm FFN, 13,6 Mrd. Transistoren, 545 mm² |
| Compute APIs | CUDA, NVIDIA TensorRT, ONNX |
Spezifikationen anhand offizieller Quellen verifiziert (
Offizielle Benchmarks , aktualisiert am 10.10.2026) · Der tatsächliche Preis richtet sich nach dem Angebot des Verkäufers
Einsatzszenarien
- Inferenz-Deployment von Deep-Learning-Modellen: Dank Tensor Core und INT8/INT4-Quantisierung, kombiniert mit Toolchains wie TensorRT und ONNX, ideal für die skalierende Bereitstellung von Online-Inferenzdiensten
- Video-Transkodierung und Streaming-Verarbeitung: Eine einzelne Karte decodiert parallel Dutzende 1080p30-Streams in H.264, HEVC oder VP9 – geeignet für Video-Gateways, Transkodierungs-Cluster und Videoanalyse
- Virtualisierung mit hoher Dichte und Cloud-Desktops: SR-IOV-Unterstützung (bis zu 16 VFs) und ECC-Speicher machen sie geeignet für GPU-Pools mit mehreren Mandanten und Virtual Desktop Infrastructure
- Leichtes Rendering und Grafikbeschleunigung: Die integrierten RT Cores bieten Hardware-Raytracing für mittelgroße Rendering-, Visualisierungs- und gemischte Workloads
Modelle der Familie
| Modell | Speicher | Verbrauch |
|---|
| NVIDIA A100 Vergleich | 40GB HBM2 / 80GB HBM2e in zwei Varianten (80-GB-Variante nachgelegt auf der SC20 am 16.11.2020), mit ECC | SXM4 400W (40GB/80GB identisch); PCIe-Version 40GB 250W / 80GB 300W |
| NVIDIA H20 Vergleich | 96GB HBM3 (konsistent bei Flopper/VipraTech/Tencent News) | 400W TDP (dreifach belegt: Flopper/VipraTech-Datenblatt/Tencent News mit „Wärmeleistung 400W“; widersprüchliche Angabe 350W im VipraTech-Fließtext verworfen) |
| NVIDIA GB300 Vergleich | 288GB HBM3e (pro GPU-Package; 576GB im Superchip; parallel HGX auf Board-Ebene 2,1 TB / Rack 20 TB) | TGP bis 1400W |
| NVIDIA A30 Vergleich | 24 GB HBM2 | 165 W |
| NVIDIA GeForce RTX 4090 Vergleich | 24GB GDDR6X | 450W TGP (Spiele im Schnitt 315W, empfohlenes Netzteil 850W) |
| NVIDIA RTX PRO 6000 Blackwell Vergleich | 96GB GDDR7 mit ECC (meistadressierter Profi-Workstation-GPU) | 600W Gesamtleistung (offiziell), Stromversorgung 1x PCIe CEM5 16-pin, doppelter Flow-Through-Kühler |
Videoerklärung VIDEO
Wichtige Punkte für Kauf und Prüfung
- Die T4 ist passiv gekühlt und verlässt sich auf den erzwungenen Luftstrom des Gehäuses. Vor dem Kauf sollte man prüfen, ob der Zielserver ein geeignetes Luftführungskonzept für GPUs besitzt und ob das Gehäuse Slots für Single-Slot-Low-Profile-Karten bereitstellt. Da die Karte ihre Versorgung komplett über den PCIe-Slot bezieht und keinen externen Poweranschluss hat, sind keine zusätzlichen Kabel nötig – dennoch sollte die Slot-Stromversorgung die maximale Kartenleistung von 70 W abdecken können.
- Schnittstellen und Kompatibilität prüfen: Die T4 nutzt PCIe Gen3 x16 (offiziell auch x8 möglich) und ist mit älteren Hosts wie modernen Servern gleichermaßen kompatibel. Beim Kauf sollten PCIe-Topologie, Gehäusehöhe (halbe Bauhöhe und Länge, Kartenlänge rund 6,6 Zoll) sowie Treiber- und Virtualisierungsanforderungen (SR-IOV, ECC-Konfiguration) abgeklärt werden.
- Bei Gebraucht- oder Restpostenkauf empfiehlt sich eine Einzelprüfung jeder Karte: Prüfen, ob sich der ECC-Speicher aktivieren lässt und Stresstests fehlerfrei durchläuft, Integrität der Tensor Cores und Video-Decode-Funktion verifizieren (mit passenden Decode-Benchmarks H.264/HEVC/VP9 im Mehrstream-Betrieb testen) und die Original-SN für Garantie- und Herkunftsnachweis erfragen. Da der Markt mit diesem Modell überschwemmt ist, sollten verschiedene Produktionschargen und der Zustand ausgebauter Karten beachtet werden.
FAQ
Braucht die T4 externe Stromversorgung? Passt sie in jeden normalen Server?
Die T4 hat eine Leistungsaufnahme von maximal 70 W und wird vollständig über den PCIe-Slot versorgt – ein externes Netzkabel ist nicht erforderlich. Dank ihres passiven Single-Slot-Designs in halber Bauhöhe und Länge passt sie in die meisten Standardserver (auch 1U-/2U-Rackserver). Allerdings setzt die passive Kühlung einen gerichteten Luftstrom voraus; in normalen Desktop-Gehäusen mit schwacher Luftführung sollte man sie nur mit Vorsicht einsetzen.
Eignet sich die T4 für LLM-Inferenz? Reichen 16 GB VRAM aus?
Die T4 ist für Inferenz statt Training ausgelegt. Die 16 GB GDDR6 fassen quantisierte kleinere und mittlere Modelle (z. B. INT8/INT4-quantisierte Sprach- oder Vision-Modelle); in Kombination mit TensorRT arbeitet sie effizient. Bei größeren Modellen braucht es Quantisierung, stufenweises Nachladen oder ein Multi-GPU-Setup – wer mehr Durchsatz will, sollte neuere Inferenzkarten in Betracht ziehen.
Lohnt sich eine gebrauchte T4? Worauf beim Kauf achten?
Die T4 wird in den Inferenzinstanzen vieler großer Cloud-Anbieter massenhaft eingesetzt, Bestände und Gebrauchtangebote sind reichlich vorhanden und die Einstiegshürde preislich niedrig – eine gängige Wahl für Inferenz und Video-Transkodierung. Beim Kauf prüfen, ob sich ECC aktivieren lässt und der VRAM-Stresstest fehlerfrei läuft, Volllast-Temperatur und Throttling-Verhalten unauffällig sind, Decode- und Tensor-Core-Funktionen intakt sind, und SN sowie Garantiestatus abgleichen.