AIXX Pedia › Техническая концепция › Квантизация моделей
Квантизация (Quantization) — это техника снижения точности весов и активаций модели с высокой (FP16/BF16) до низкой (FP8/INT8/INT4/FP4). Прямой эффект — одновременная оптимизация потребления видеопамяти и пропускной способности вычислений: INT4-квантизация уменьшает 70B-модель со 140 ГБ примерно до 35 ГБ — она помещается на одну карту на 48 ГБ.
Что это значит для покупателя: квантизация определяет, «какую модель можно запустить при том же бюджете» — при выборе конфигурации видеопамяти обязательно нужно учитывать, поддаётся ли целевая модель квантизации, до какой точности и приемлема ли потеря качества. FP8/FP4 — свежее направление в шкале точностей NVIDIA (Hopper→Blackwell), AMD синхронно движется по пути MXFP4/FP6.
| Параметр | Значение / формат |
|---|---|
| Типичная лестница точностей | FP32 → BF16/FP16 → FP8/INT8 → INT4/FP4 |
| Видеопамять 70B FP16 | около 140 ГБ |
| Видеопамять 70B INT4 | Около 35 ГБ |
| Инструменты квантизации | GPTQ / AWQ / TensorRT-LLM / bitsandbytes |
B300 нативно поддерживает точности FP4/FP6 — в сценариях инференса можно квантизовать до FP4 и выжать максимум вычислений; для обучения рекомендуется FP8/BF16 (контролируемая потеря точности). Приемлемость потери точности после квантизации зависит от модели и задачи — классификация и поиск устойчивы, генеративные задачи — нет.