Spec-Card SPEC CARD
NVIDIA L40S
Ada-Karte mit 48 GB für Inferenz/Rendering/Omniverse als Allround-Arbeitstier, FP8 spars 1.466 TF plus AV1-Encoding/Decoding – eine der Ada-Karten mit großem Speicher, die aktuell am meisten im Inland-Spotmarkt umläuft

Offizielles Herstellerbild von NVIDIA
Echtaufnahme
Echtaufnahmen
Überblick
Die NVIDIA L40S ist eine Dual-Slot-Datacenter-GPU auf Basis der Ada-Lovelace-Architektur mit 48 GB GDDR6-Speicher (mit ECC) und 864 GB/s Speicherbandbreite, verbunden über PCIe Gen4 x16 mit 64 GB/s in beide Richtungen. Sie verfügt über 18.176 CUDA-Kerne, 142 RT Core der dritten Generation und 568 Tensor Core der vierten Generation; die FP8-Tensor-Core-Leistung erreicht bis zu 1.466 TFLOPS (spars). Zudem sind drei NVENC/NVDEC-Einheiten integriert, die AV1-Encoding und -Decoding unterstützen. Dank der Kombination aus großem Speicher, hoher Rechenleistung und Videofähigkeiten wird die L40S häufig für Inferenz großer Modelle, Bildgenerierung, Raytracing-Rendering sowie Omniverse- und Digital-Twin-Workloads eingesetzt und zählt zu den Ada-Karten mit großem Speicher, die im Inland-Spotmarkt in größerer Menge verfügbar sind.
Kernspezifikationen
| Architektur | NVIDIA Ada Lovelace architecture |
| Speicher | 48 GB GDDR6 with ECC |
| VRAM-Bandbreite | 864 GB/s |
| FP32-Leistung | 91.6 teraFLOPS |
| FP16-Leistung | 733 teraFLOPS* |
| FP8-Rechenleistung | 1,466 teraFLOPS* |
| TDP-Leistungsaufnahme | 350 W |
| Interconnect | PCIe Gen4 x16 |
| Formfaktor | 4.4" (H) x 10.5" (L), dual slot |
| Codecs | 3x (includes AV1 encode and decode) |
Spezifikationen anhand offizieller Quellen verifiziert (
Offizielle Benchmarks , aktualisiert am 09.10.2026) · Der tatsächliche Preis richtet sich nach dem Angebot des Verkäufers
Einsatzszenarien
- Inferenz-Deployments von LLMs und multimodalen Modellen auf Einzel-GPU oder in kleinen Clustern; 48 GB Speicher fassen Modelle mit hoher Parameterzahl und lange Kontexte
- Hochperformante Inferenzdienste auf Basis von FP8/INT8-Quantisierung, mit gesteigertem Durchsatz dank der Tensor-Core-Leistung von 1.466 TFLOPS (spars)
- Offline- und Echtzeit-Raytracing-Rendering, Visualisierung und Content-Produktion mit den 142 RT Core der dritten Generation
- Omniverse- und Digital-Twin-Anwendungen sowie Batch-Videotranskodierung und Streaming-Verarbeitung mit drei NVENC/NVDEC-Einheiten (inkl. AV1)
Modelle der Familie
| Modell | Speicher | Verbrauch |
|---|
| NVIDIA T4 Vergleich | 16GB GDDR6 mit ECC (standardmäßig aktiviert) | 70W (Gesamtboardleistung, Standard) |
| NVIDIA A100 Vergleich | 40GB HBM2 / 80GB HBM2e in zwei Varianten (80-GB-Variante nachgelegt auf der SC20 am 16.11.2020), mit ECC | SXM4 400W (40GB/80GB identisch); PCIe-Version 40GB 250W / 80GB 300W |
| NVIDIA H20 Vergleich | 96GB HBM3 (konsistent bei Flopper/VipraTech/Tencent News) | 400W TDP (dreifach belegt: Flopper/VipraTech-Datenblatt/Tencent News mit „Wärmeleistung 400W“; widersprüchliche Angabe 350W im VipraTech-Fließtext verworfen) |
| NVIDIA GB300 Vergleich | 288GB HBM3e (pro GPU-Package; 576GB im Superchip; parallel HGX auf Board-Ebene 2,1 TB / Rack 20 TB) | TGP bis 1400W |
| NVIDIA A30 Vergleich | 24 GB HBM2 | 165 W |
| NVIDIA GeForce RTX 4090 Vergleich | 24GB GDDR6X | 450W TGP (Spiele im Schnitt 315W, empfohlenes Netzteil 850W) |
Videoerklärung VIDEO
Wichtige Punkte für Kauf und Prüfung
- Auf Stromversorgung von System und RZ achten: Die L40S hat eine maximale Leistungsaufnahme von 350 W pro Karte und nutzt einen 16-Pin-Stromanschluss. Das System muss entsprechende redundante Netzteile und Kabel vorsehen; die Leistungsdichte im Rack ist entsprechend zu planen.
- Kühlung und Gehäuseform prüfen: Die Karte ist ein passiv gekühltes Dual-Slot-Design in Full-Height mit ca. 11,2 cm Höhe und 26,7 cm Länge und muss in Servern mit ausreichendem Luftstrom verbaut werden; der direkte Einsatz in handelsüblichen Desktop-Gehäusen wird nicht unterstützt.
- Interconnect und Deployment-Topologie: Die L40S unterstützt nur PCIe Gen4 x16 (64 GB/s in beide Richtungen), kein NVLink und keine MIG-Partitionierung. Die Kommunikation zwischen Karten läuft über PCIe und das Host-Netzwerk; bei der Beschaffung sollte die Auswahl an den Bandbreitenanforderungen zwischen den Karten ausgerichtet werden. Zudem lohnt ein Blick auf die Bedeutung von Secure Boot und NEBS Level 3 für die Auslieferungsumgebung.
FAQ
Wie viel Speicher hat die NVIDIA L40S? Reicht das für Inferenz großer Modelle?
Die L40S verfügt über 48 GB GDDR6-Speicher mit ECC-Unterstützung und einer Bandbreite von 864 GB/s. Für Inferenz fassen die 48 GB Modelle mit hoher Parameterzahl, und durch Quantisierung lässt sich die Kapazität weiter ausdehnen – ausreichend für die meisten Single-GPU-Inferenz-Deployments.
Unterstützt die L40S NVLink und MIG? Und was ist mit Multi-GPU-Training?
Die L40S unterstützt weder NVLink noch Multi-Instance GPU (MIG). Die Kommunikation zwischen Karten läuft ausschließlich über PCIe Gen4 x16 (64 GB/s in beide Richtungen); daher eignet sie sich eher für Inferenz und Rendering. Wenn die Anwendung empfindlich auf hohe Interconnect-Bandbreite reagiert (z. B. großes Multi-GPU-Training), ist die Netzwerkarchitektur zusätzlich zu bewerten.
Wie gut sind die Video-Codec-Fähigkeiten der L40S? Beherrscht sie AV1?
Ja. Die L40S integriert 3 NVENC-Encoder und 3 NVDEC-Decoder mit Hardware-Unterstützung für AV1-Encoding und -Decoding – geeignet für Videotranskodierung, Streaming-Verarbeitung sowie graphik-/videogenerierende Workloads in Kombination mit Rendering und Omniverse.