SECTIONS
EDITIONS
NETWORK
AIXX Pedia A enciclopédia do universo da computação

AIXX Pedia › Conceito técnico › Quantização de modelos

Quantização de modelos

MODEL QUANTIZATION · Verbete técnico

Visão geral OVERVIEW

A quantização é a técnica de reduzir pesos e ativações do modelo de alta precisão (FP16/BF16) para baixa precisão (FP8/INT8/INT4/FP4) — o efeito direto é a otimização simultânea do consumo de VRAM e do throughput computacional: a quantização INT4 reduz um modelo 70B de 140 GB para cerca de 35 GB — cabe em uma única placa de 48 GB.

O que significa para quem compra: a quantização determina "qual tamanho de modelo cabe no mesmo orçamento" — ao especificar a VRAM, é preciso considerar se o modelo-alvo suporta quantização, até que precisão e se a perda de precisão é aceitável. FP8/FP4 é a rota de precisão mais recente da NVIDIA (Hopper→Blackwell), e a AMD acompanha com MXFP4/FP6.

Números-chave KEY NUMBERS

ItemValores / critério
Escada de precisão comumFP32 → BF16/FP16 → FP8/INT8 → INT4/FP4
VRAM 70B FP16Cerca de 140GB
VRAM 70B INT4cerca de 35 GB
Ferramentas de quantizaçãoGPTQ / AWQ / TensorRT-LLM / bitsandbytes

Significado no B300 ON B300

O B300 suporta nativamente precisão FP4/FP6 — em cenários de inferência é possível quantizar para FP4 e extrair o máximo de potência computacional; para treinamento, recomenda-se FP8/BF16 (perda de precisão controlada). Se a perda de precisão após a quantização é aceitável depende do modelo e da tarefa — classificação/busca toleram bem, tarefas generativas toleram pouco.

Limites e observações LIMITS

  • A quantização pode degradar a precisão: a quantização INT4/FP4 pode causar perdas inaceitáveis em tarefas generativas (escrita criativa/geração de código) — avaliar modelo por modelo.
  • Fragmentação do ecossistema de ferramentas: GPTQ/AWQ/bitsandbytes/TensorRT têm cada uma pontos fortes e fracos — não há solução única, é preciso adaptar modelo por modelo.
  • Quantização de KV Cache é mais sensível: quantizar o KV cache impacta a precisão da inferência mais do que a quantização de pesos — use com cautela.

Vídeo explicativo VIDEO

Memória HBM3eInterconexão NVLinkSXM / NVL8Refrigeração líquida por placa fria / CDUFormato de precisão FP8MoE (Mixture of Experts)Chip de switch NVSwitchRede de interconexão InfiniBandArmazenamento NVMeRefrigerado a líquido CDUAcesso remoto direto à memória (RDMA)GPUDirectTensor CoreMIG (Multi-Instance GPU)PCIe Gen5Computação confidencialGPU virtual vGPUPrecisão de ponto flutuante reduzida FP4 / FP6Cache de inferência KV CacheScale-up e Scale-outÓptica encapsulada conjunta (CPO)NVLink FusionArquitetura modular MGXParalelismo de tensoresComunicação coletivaFábrica de IACircuito líquidoIndicador de eficiência energética PUETensorRT-LLMMotor de inferência vLLMAdaptação de baixo rank LoRACanais de cadeia de suprimento de computaçãoCusto total de propriedade (TCO)Benchmarks de throughput de inferênciaDestilação de modelosCadeia de suprimento de energiaEconomia de tokensPipeline de dados de treinamentoStack de otimização de inferênciaMemória de vídeo GDDR7Família de conectores de alimentação (EPS/PCIe 8pin/12VHPWR/12V-2x6)Linha do tempo dos controles de exportação para a ChinaGuia de verificação de GPUs (nvidia-smi/GPU-Z)Otimização de inferência com TensorRTExecução de grafos com CUDA GraphsBiblioteca de comunicação coletiva NCCLFormato aberto de modelos ONNXFamília de gerações HBMTreinamento com precisão mistaGerações PCIeFamília de formatos de rackGuia de nomenclatura de modelos de GPUCircuito de mercado de GPUs usadasComparativo entre refrigerado a ar e refrigerado a líquidoSaúde da memória de vídeo e diagnóstico de falhasMemória de vídeo HBM4Interconexão UALinkFicha de modelo B300

Referências REFERENCES

  1. Site oficial da NVIDIA — páginas do produto Blackwell Ultra / HGX B300 https://www.nvidia.com/en-us/data-center/hgx/
  2. Dados de mercado e oferta: AIXX Exchange de Cálculo (faixa de cotações deste acervo)
Versões e erratas |Este verbete é mantido pela redação da AIXX Pedia, com rascunho assistido por IA e verificação factual humana. Atualizado em 20/10/2026 · versão v1.0 · todas as alterações ficam registradas e rastreáveis.
Esta base
Política editorialSobre esta base (declaração de interesses)canal de correções
Resumo da constituição editorial
Toda afirmação com fonteDefeitos sempre mencionados · erratas públicas e registradasEntradas pagas não são aceitasZero elementos de direcionamento e vendas nas entradasDados de mercado apenas como módulo de dados anexado
Família AIXX
AIXX PediaAIXX Exchange de CálculoInformações AIXX
Fonte dos dados de mercado: AIXX Exchange de Cálculo · © 2026 AIXX Pedia · Produzido pela AIXX