SECTIONS
EDITIONS
NETWORK
AIXX Pedia Энциклопедия вычислительных мощностей

AIXX Pedia › Техническая концепция › Квантизация моделей

Квантизация моделей

КВАНТИЗАЦИЯ МОДЕЛЕЙ · Технический термин

Обзор OVERVIEW

Квантизация (Quantization) — это техника снижения точности весов и активаций модели с высокой (FP16/BF16) до низкой (FP8/INT8/INT4/FP4). Прямой эффект — одновременная оптимизация потребления видеопамяти и пропускной способности вычислений: INT4-квантизация уменьшает 70B-модель со 140 ГБ примерно до 35 ГБ — она помещается на одну карту на 48 ГБ.

Что это значит для покупателя: квантизация определяет, «какую модель можно запустить при том же бюджете» — при выборе конфигурации видеопамяти обязательно нужно учитывать, поддаётся ли целевая модель квантизации, до какой точности и приемлема ли потеря качества. FP8/FP4 — свежее направление в шкале точностей NVIDIA (Hopper→Blackwell), AMD синхронно движется по пути MXFP4/FP6.

Ключевые цифры KEY NUMBERS

ПараметрЗначение / формат
Типичная лестница точностейFP32 → BF16/FP16 → FP8/INT8 → INT4/FP4
Видеопамять 70B FP16около 140 ГБ
Видеопамять 70B INT4Около 35 ГБ
Инструменты квантизацииGPTQ / AWQ / TensorRT-LLM / bitsandbytes

Значение для B300 ON B300

B300 нативно поддерживает точности FP4/FP6 — в сценариях инференса можно квантизовать до FP4 и выжать максимум вычислений; для обучения рекомендуется FP8/BF16 (контролируемая потеря точности). Приемлемость потери точности после квантизации зависит от модели и задачи — классификация и поиск устойчивы, генеративные задачи — нет.

Границы и оговорки LIMITS

  • Квантизация может снижать точность: потеря качества при INT4/FP4-квантизации для генеративных задач (творческий текст / генерация кода) может оказаться неприемлемой — оценка нужна для каждой модели.
  • Фрагментированность инструментов квантизации: GPTQ/AWQ/bitsandbytes/TensorRT и другие инструменты имеют свои плюсы и минусы — единого решения нет, требуется адаптация под каждую модель.
  • Квантизация KV-кэша более чувствительна: квантизация KV-кэша сильнее влияет на точность инференса, чем квантизация весов — применяйте с осторожностью.

Видеообзор VIDEO

Видеопамять HBM3eИнтерконнект NVLinkSXM / NVL8Жидкостное охлаждение с холодной плитой / CDUФормат точности FP8MoE(смесь экспертов)Коммутационный чип NVSwitchСеть на базе InfiniBandХранилище NVMeЖидкостное охлаждение CDURDMA — удалённый прямой доступ к памятиGPUDirectTensor CoreMIG (Multi-Instance GPU)PCIe Gen5Конфиденциальные вычисленияВиртуальный GPU vGPUМикроформаты с плавающей точкой FP4 / FP6Кэш вывода KV CacheScale-up и Scale-outСовмещённая оптика CPONVLink FusionМодульная архитектура MGXТензорный параллелизмКоллективные коммуникацииAI-фабрикаКонтур жидкостного охлажденияПоказатель энергоэффективности PUETensorRT-LLMДвижок вывода vLLMLoRA — низкоранговая адаптацияКаналы поставок вычислительной техникиСовокупная стоимость владения TCOБенчмарки пропускной способности при выводеДистилляция моделейЦепочка энергоснабженияЭкономика токеновКонвейер обучающих данныхСтек оптимизации выводаВидеопамять GDDR7Семейство разъёмов питания (EPS/PCIe 8pin/12VHPWR/12V-2x6)Хронология экспортного контроляРуководство по проверке GPU (nvidia-smi/GPU-Z)Оптимизация вывода TensorRTВыполнение графов CUDA GraphsБиблиотека коллективных коммуникаций NCCLОткрытый формат моделей ONNXПоколения памяти HBMОбучение со смешанной точностьюПоколения PCIeСемейство форм-факторов стоекРазбор правил именования моделей GPUЦепочка оборота подержанных GPUСравнение систем с воздушным и жидкостным охлаждениемДиагностика здоровья и неисправностей видеопамятиПамять HBM4Интерконнект UALinkСтатья о модели B300

Источники REFERENCES

  1. Официальный сайт NVIDIA — страница продукта Blackwell Ultra / HGX B300 https://www.nvidia.com/en-us/data-center/hgx/
  2. Рыночные данные и предложения в наличии: AIXX Exchange (полоса рыночных данных базы)
Версии и исправления |Статья поддерживается редакцией AIXX Pedia: черновик подготовлен ИИ, факты проверены вручную. Обновлено 21.10.2026 · версия v1.0 · все изменения сохраняются и доступны для проверки.
Энциклопедия
Редакционная политикаО энциклопедии (декларация интересов)канал исправлений
Кратко о редакционном уставе
Каждое утверждение с источникомНедостатки обязательны · исправления публичныПлатные статьи не принимаютсяНоль рекламы и продаж внутри статейРыночные данные подключаются только как модуль данных
Семейство AIXX
AIXX PediaAIXX ExchangeAIXX News
Источник рыночных данных: AIXX Exchange · © 2026 AIXX Pedia · Продукт AIXX