AIXX Pedia › Conceito técnico › Quantização de modelos
A quantização é a técnica de reduzir pesos e ativações do modelo de alta precisão (FP16/BF16) para baixa precisão (FP8/INT8/INT4/FP4) — o efeito direto é a otimização simultânea do consumo de VRAM e do throughput computacional: a quantização INT4 reduz um modelo 70B de 140 GB para cerca de 35 GB — cabe em uma única placa de 48 GB.
O que significa para quem compra: a quantização determina "qual tamanho de modelo cabe no mesmo orçamento" — ao especificar a VRAM, é preciso considerar se o modelo-alvo suporta quantização, até que precisão e se a perda de precisão é aceitável. FP8/FP4 é a rota de precisão mais recente da NVIDIA (Hopper→Blackwell), e a AMD acompanha com MXFP4/FP6.
| Item | Valores / critério |
|---|---|
| Escada de precisão comum | FP32 → BF16/FP16 → FP8/INT8 → INT4/FP4 |
| VRAM 70B FP16 | Cerca de 140GB |
| VRAM 70B INT4 | cerca de 35 GB |
| Ferramentas de quantização | GPTQ / AWQ / TensorRT-LLM / bitsandbytes |
O B300 suporta nativamente precisão FP4/FP6 — em cenários de inferência é possível quantizar para FP4 e extrair o máximo de potência computacional; para treinamento, recomenda-se FP8/BF16 (perda de precisão controlada). Se a perda de precisão após a quantização é aceitável depende do modelo e da tarefa — classificação/busca toleram bem, tarefas generativas toleram pouco.