Regularización
Familia de técnicas que restringen la complejidad del modelo para prevenir el sobreajuste y mejorar la generalización. La decaimiento de pesos y el dropout son los ejemplos más comunes.
La regularización abarca técnicas que restringen el aprendizaje para reducir el sobreajuste. Los enfoques incluyen términos de penalización en la función de pérdida, perturbaciones estocásticas de la red y manipulación de datos.
El entrenamiento de reconocimiento de imágenes puede combinar varias técnicas. ResNet usa regularización L2 (weight decay = 0.0001) con aumento de datos. EfficientNet añade dropout y Stochastic Depth.
- Regularización L2 (Weight Decay): Añade la suma de pesos al cuadrado λΣw² a la pérdida, penalizando pesos grandes y fomentando funciones más suaves. Valores de ejemplo: λ = 0.0001 a 0.001
- Regularización L1: Añade la suma absoluta λΣ|w|, promoviendo la dispersión al llevar algunos pesos a cero para una selección implícita de características
- Dropout: Desactiva cada neurona con probabilidad p (por ejemplo, 0.5) durante el entrenamiento, aproximando el aprendizaje por ensamble y reduciendo la dependencia de caminos
- Normalización por lotes: Normaliza las entradas de cada capa para reducir el desplazamiento covariante interno, proporcionando regularización implícita que a veces hace innecesario el dropout
Algunas investigaciones posicionan el propio aumento de datos como regularización. Entre los ejemplos están Mixup (interpolación lineal de imágenes), CutMix (reemplazo de parches) y RandAugment (búsqueda automatizada).