Cuantización
Técnica de optimización que representa los pesos y activaciones del modelo en menor precisión de bits (por ejemplo, INT8) para acelerar la inferencia y reducir el uso de memoria.
La cuantización convierte los parámetros y cálculos de redes neuronales de punto flotante de 32 bits (FP32) a representaciones de menor ancho de bits como INT8 o FP16.
Convertir pesos FP32 a INT8 reduce la memoria por parámetro de 4 bytes a 1 byte. ResNet-50 (aproximadamente 100 MB) se reduce a unos 25 MB tras la cuantización INT8.
- Cuantización post-entrenamiento (PTQ): Determina la escala y el punto cero usando un pequeño conjunto de calibración. No requiere reentrenamiento pero puede incurrir en pérdida de precisión notable
- Entrenamiento consciente de cuantización (QAT): Simula la cuantización durante el entrenamiento para que los parámetros se adapten a la ejecución cuantizada. Frente a PTQ, añade coste de entrenamiento
- Precisión mixta: Mantiene las capas sensibles (como la primera y la última) en FP16 mientras cuantiza las demás a INT8, proporcionando un control fino entre precisión y velocidad
TensorFlow Lite ofrece cuantización automática mediante tf.lite.Optimize.DEFAULT, y ONNX Runtime soporta la cuantización INT8. Los modelos cuantizados se ejecutan en WebAssembly para procesamiento en el navegador.