AIXX Pedia › Technisches Konzept › HBM3e-Speicher
HBM (High Bandwidth Memory) ist eine Speicherform, bei der DRAM-Dies vertikal gestapelt und über extrem kurze Verbindungen an die GPU angebunden werden; HBM3e ist die jüngste kommerzielle Weiterentwicklung. Es löst ein und dieselbe Aufgabe: Im Zeitalter großer Modelle darf die Geschwindigkeit, mit der Daten in die Recheneinheiten gespeist werden, nicht zum Flaschenhals werden.
Für ein KI-Gesamtsystem bestimmt der Speicherausbau direkt, „wie groß ein Modell sein darf“ – der auffälligste Parameter dieser B300-Generation: 288 GB pro Karte.
| Position | Wert / Definition |
|---|---|
| Speicher pro Karte (B300) | 288GB HBM3e |
| Gesamtkapazität bei acht Karten (NVL8) | rund 2,3 TB |
| Vergleich zur Vorgängergeneration H100 | 80GB(HBM3) |
| Vergleich mit der H200 | 141GB(HBM3e) |
Für den geschätzten Speicherbedarf eines Modells gibt es eine grobe, aber brauchbare Formel: FP8-Gewichte ≈ Parameterzahl × 1 Byte. DeepSeek R1 in voller Ausbaustufe hat 671B Parameter, was in FP8 etwa 690 GB entspricht – zu groß für eine einzelne Karte, aber die 2,3 TB Gesamtspeicher eines B300-NVL8-Systems reichen für eine Vollausbaustufe auf einem einzigen Server locker aus, mit reichlich Reserve.
Der Speicher ist auch eine Preisschwelle auf dem Markt: Modelle derselben Serie unterscheiden sich je nach Speicherkonfiguration (etwa 3-TB- und 4-TB-Varianten) im Preis um bis zu siebenstellige Beträge.