Dropout
Una técnica de regularización que desactiva aleatoriamente neuronas durante el entrenamiento, previniendo la coadaptación y reduciendo el sobreajuste al entrenar implícitamente un conjunto de subredes.
Dropout es una técnica de regularización que establece aleatoriamente una fracción de las activaciones neuronales a cero durante cada paso de entrenamiento. Un artículo de Srivastava et al. de 2014 informó que reduce notablemente el sobreajuste al limitar la coadaptación entre neuronas. Las neuronas descartadas se excluyen tanto de la propagación hacia adelante como hacia atrás en esa iteración.
Intuitivamente, dropout entrena una subred diferente en cada mini-lote, aproximando un conjunto de exponencialmente muchas subredes. En la inferencia, todas las neuronas están activas y las salidas se escalan por (1 - tasa de descarte). Alternativamente, el Dropout Invertido escala durante el entrenamiento.
- Selección de tasa de descarte: Se ajusta según la tarea y la cantidad de datos
- Dropout Espacial: Descarta canales completos de mapas de características en lugar de activaciones individuales, respetando la estructura de correlación espacial de las características convolucionales
- DropPath (Profundidad Estocástica): Omite aleatoriamente bloques residuales completos durante el entrenamiento en ResNets y Vision Transformers
Las extensiones incluyen DropKey (aplicado a pesos de atención) y R-Drop (forzando consistencia de salida entre máscaras de dropout).