AIXX Pedia › Concepto técnico › Cuantización de modelos
La cuantización (Quantization) es la técnica que reduce los pesos y activaciones de un modelo desde alta precisión (FP16/BF16) a baja precisión (FP8/INT8/INT4/FP4); el efecto directo es una doble optimización de la memoria de vídeo y del throughput de cómputo: la cuantización INT4 baja un modelo 70B de 140 GB a unos 35 GB — cabe en una sola tarjeta de 48 GB.
Lo que significa para el comprador: la cuantización determina «qué tamaño de modelo puedes ejecutar con el mismo presupuesto». Al elegir la especificación de memoria de vídeo hay que considerar si el modelo objetivo admite cuantización, hasta qué precisión y si la pérdida de precisión es aceptable. FP8/FP4 son las rutas de precisión más recientes de NVIDIA (Hopper→Blackwell), y AMD las sigue de cerca con MXFP4/FP6.
| Concepto | Valor / criterio |
|---|---|
| Escalera de precisiones habitual | FP32 → BF16/FP16 → FP8/INT8 → INT4/FP4 |
| Memoria 70B FP16 | unos 140GB |
| Memoria 70B INT4 | Aprox. 35 GB |
| Herramientas de cuantización | GPTQ / AWQ / TensorRT-LLM / bitsandbytes |
El B300 soporta de forma nativa las precisiones FP4/FP6: en inferencia se puede cuantizar a FP4 para exprimir al máximo la potencia de cómputo; para entrenamiento se recomienda FP8/BF16 (pérdida de precisión controlada). Si la pérdida de precisión tras la cuantización es aceptable depende del modelo y de la tarea: la clasificación y la búsqueda toleran bastante, las tareas generativas toleran poco.