AIXX Pedia › Technisches Konzept › Tensor Core
Tensor Cores sind spezialisierte Matrix-Recheneinheiten, die mit der NVIDIA-Volta-Architektur (2017) eingeführt wurden – jeder Tensor Core führt in einem Takt eine 4×4-Matrixmultiplikation aus. Sie lösen ein bestimmtes Problem: Die Kernoperation des Deep Learnings ist die Matrixmultiplikation (GEMM), und universelle CUDA-Kerne arbeiten dabei ineffizient. Tensor Cores wurden genau dafür entworfen.
Die von jeder Tensor-Core-Generation unterstützten Präzisionen haben sich weiterentwickelt: erste Generation (Volta) FP16; zweite Generation (Turing) INT8/INT4; dritte Generation (Ampere) BF16/TF32; vierte Generation (Hopper) FP8; fünfte Generation (Blackwell) FP4. Jede neue Präzisionsstufe bedeutet, mehr Rechenleistung auf gleicher Fläche unterzubringen – das ist auch der Grund für das explosive Wachstum der FP4-Rechenleistung beim B300.
| Position | Wert / Definition |
|---|---|
| Fünfte Generation (Blackwell) | FP4/FP6/FP8/FP16/BF16/TF32/FP64 |
| FP4-Rechenleistung (B300) | ca. 15 PFLOPS dicht / mit Sparsity höher |
| FP8-Rechenleistung (H100) | 3.341 TFLOPS (mit Sparsity) |
| Anzahl der Generationen | Fünfte Generation (Blackwell) |
Die Tensor Cores der fünften Generation im B300 unterstützen nativ FP4 und FP6 – large Language Models lassen sich auf FP4 quantisieren, ohne dass die Präzision wesentlich leidet. Das bedeutet: Auf derselben Chipfläche passt doppelt so viel Rechenleistung wie bei FP8. Käufer sollten bei den Datenblättern aufpassen: Die von NVIDIA angegebene FP4-Rechenleistung bezieht sich auf den Sparsity-Wert, die dichte Leistung ist halb so hoch. Der tatsächliche Inferenz-Durchsatz hängt vom Quantisierungs-Support des Frameworks ab (TensorRT-LLM / vLLM usw.).