Sobreajuste
Fenómeno en el que un modelo aprende demasiado bien los datos de entrenamiento, incluyendo ruido y particularidades, resultando en un rendimiento degradado en datos no vistos (pobre generalización).
El sobreajuste ocurre cuando un modelo memoriza el ruido de los datos de entrenamiento en lugar de aprender características generalizables, degradando la predicción en datos nuevos. Un síntoma clásico: la precisión de entrenamiento supera el 99% mientras la precisión de validación se estanca alrededor del 70%. Es más probable cuando la complejidad del modelo es desproporcionada respecto a los datos disponibles.
En reconocimiento de imágenes, entrenar una CNN con millones de parámetros en unos pocos miles de imágenes puede provocar sobreajuste.
- Aumento de datos: Expande los datos de entrenamiento mediante rotaciones, volteos, variación de color y recortes aleatorios
- Dropout: Desactiva aleatoriamente neuronas durante el entrenamiento (por ejemplo, 50%), previniendo la coadaptación excesiva de características. En inferencia, todas las neuronas están activas con salidas escaladas
- Parada temprana: Detiene el entrenamiento cuando la pérdida de validación deja de mejorar
- Regularización: La decadencia de pesos L2 penaliza pesos grandes, restringiendo la complejidad y fomentando representaciones más simples
El aprendizaje por transferencia es otra contramedida: un modelo preentrenado con datos a gran escala se ajusta con datos limitados específicos de la tarea.