SECTIONS
EDITIONS
NETWORK
AIXX Pedia La enciclopedia del mundo del cómputo

AIXX Pedia › Concepto técnico › Cuantización de modelos

Cuantización de modelos

CUANTIZACIÓN DE MODELOS · Ficha de concepto técnico

Resumen OVERVIEW

La cuantización (Quantization) es la técnica que reduce los pesos y activaciones de un modelo desde alta precisión (FP16/BF16) a baja precisión (FP8/INT8/INT4/FP4); el efecto directo es una doble optimización de la memoria de vídeo y del throughput de cómputo: la cuantización INT4 baja un modelo 70B de 140 GB a unos 35 GB — cabe en una sola tarjeta de 48 GB.

Lo que significa para el comprador: la cuantización determina «qué tamaño de modelo puedes ejecutar con el mismo presupuesto». Al elegir la especificación de memoria de vídeo hay que considerar si el modelo objetivo admite cuantización, hasta qué precisión y si la pérdida de precisión es aceptable. FP8/FP4 son las rutas de precisión más recientes de NVIDIA (Hopper→Blackwell), y AMD las sigue de cerca con MXFP4/FP6.

Cifras clave KEY NUMBERS

ConceptoValor / criterio
Escalera de precisiones habitualFP32 → BF16/FP16 → FP8/INT8 → INT4/FP4
Memoria 70B FP16unos 140GB
Memoria 70B INT4Aprox. 35 GB
Herramientas de cuantizaciónGPTQ / AWQ / TensorRT-LLM / bitsandbytes

Su relevancia en el B300 ON B300

El B300 soporta de forma nativa las precisiones FP4/FP6: en inferencia se puede cuantizar a FP4 para exprimir al máximo la potencia de cómputo; para entrenamiento se recomienda FP8/BF16 (pérdida de precisión controlada). Si la pérdida de precisión tras la cuantización es aceptable depende del modelo y de la tarea: la clasificación y la búsqueda toleran bastante, las tareas generativas toleran poco.

Límites y advertencias LIMITS

  • La cuantización puede degradar la precisión: en INT4/FP4 la pérdida sobre tareas generativas (escritura creativa/generación de código) puede resultar inaceptable — evaluar modelo por modelo.
  • Fragmentación del ecosistema de herramientas de cuantización: GPTQ/AWQ/bitsandbytes/TensorRT tienen cada una sus ventajas y limitaciones — no existe una solución todo en uno, hay que adaptar por modelo.
  • La cuantización del KV Cache es más sensible: cuantizar el KV cache impacta la precisión de la inferencia más que la cuantización de los pesos — usarla con cautela.

Vídeo explicativo VIDEO

Memoria HBM3eInterconexión NVLinkSXM / NVL8refrigeración líquida por placa fría / CDUFormato de precisión FP8MoE (mezcla de expertos)Chip conmutador NVSwitchRed de interconexión InfiniBandAlmacenamiento NVMeCDU de refrigerado por líquidoAcceso remoto directo a memoria RDMAGPUDirectTensor CoreGPU multi-instancia MIGPCIe Gen5Computación confidencialGPU virtual vGPUPrecisión de punto flotante reducida FP4 / FP6Caché de inferencia KV CacheScale-up y Scale-outÓptica copackaged CPONVLink FusionArquitectura modular MGXParalelismo de tensoresComunicaciones colectivasFábrica de IACircuito de refrigeración líquidaIndicador de eficiencia energética PUETensorRT-LLMMotor de inferencia vLLMAdaptación de bajo rango LoRACadena de suministro de cómputoCoste total de propiedad (TCO)Benchmarks de rendimiento de inferenciaDestilación de modelosCadena de suministro de energíaEconomía del tokenPipeline de datos de entrenamientoStack de optimización de inferenciaMemoria de vídeo GDDR7Familia de conectores de alimentación (EPS/PCIe 8pin/12VHPWR/12V-2x6)Cronología de los controles de exportación hacia ChinaGuía de verificación de GPU (nvidia-smi/GPU-Z)Optimización de inferencia con TensorRTEjecución por grafos con CUDA GraphsBiblioteca de comunicación colectiva NCCLFormato abierto de modelos ONNXGenealogía de generaciones HBMEntrenamiento en precisión mixtaGeneraciones de PCIeGenealogía de formatos de rackGuía de nomenclatura de modelos de GPUCircuito de comercialización de GPU de segunda manoComparativa entre refrigerado por aire y refrigerado por líquidoSalud de la memoria de vídeo y diagnóstico de fallosMemoria de vídeo HBM4Interconexión UALinkFicha de modelo B300

Referencias REFERENCES

  1. Sitio oficial de NVIDIA — Página del producto Blackwell Ultra / HGX B300 https://www.nvidia.com/en-us/data-center/hgx/
  2. Datos de mercado y disponibilidad: AIXX Exchange (franja de mercado de esta base)
Versiones y correcciones |Esta ficha está mantenida por el equipo editorial de AIXX Pedia, redactada con asistencia de IA y verificada por humanos. Actualizada el 2026-10-20 · versión v1.0 · todos los cambios quedan registrados y son consultables.
Esta base
Política editorialSobre esta base (declaración de intereses)canal de correcciones
Resumen de la constitución editorial
Cada afirmación con fuenteDefectos siempre indicados · correcciones públicas y trazablesNo se aceptan entradas pagadasCero elementos de captación o venta dentro de las entradasLos datos de cotización solo se montan como módulo de datos
Familia AIXX
AIXX PediaAIXX ExchangeAIXX Noticias
Fuente de datos de cotización: AIXX Exchange · © 2026 AIXX Pedia · una producción de AIXX