Conexión de salto
Camino atajo en redes neuronales que omite una o más capas, sumando o concatenando la entrada directamente a la salida de una capa posterior para mitigar la desaparición del gradiente.
Una conexión de salto (también llamada atajo o conexión residual) omite una o más capas sumando o concatenando la entrada directamente a la salida de una capa posterior. En ResNet, la formulación residual calcula x + F(x), donde F(x) es la transformación aprendida y x es el mapeo identidad.
En redes profundas, los gradientes disminuyen exponencialmente durante la retropropagación. Las conexiones de salto proporcionan un camino de gradiente sin impedimentos, permitiendo entrenamiento estable más allá de 100 capas. ResNet-152 logró un error top-5 del 3.57% en ImageNet, demostrando que la profundidad mejora la precisión con atajos adecuados.
- Aprendizaje residual: Las capas aprenden el residuo F(x) = H(x) - x en lugar del mapeo completo, haciendo que las transformaciones identidad sean fáciles de representar y previniendo la degradación con la profundidad
- Conexiones densas: DenseNet concatena las salidas de todas las capas precedentes como entrada a cada capa, maximizando la reutilización de características con una tasa de crecimiento k que controla la expansión de canales
- Conexiones de salto U-Net: Los mapas de características de cada nivel del codificador se concatenan con el nivel correspondiente del decodificador, preservando detalles espaciales críticos para la segmentación
Las conexiones de salto son ubicuas en arquitecturas modernas para superresolución, generación y detección. La elección entre aditiva (ResNet) vs. concatenativa (DenseNet/U-Net) depende de la tarea y las restricciones de memoria.