跳跃连接
神经网络中绕过一层或多层的快捷路径，将输入直接加到或拼接到后续层的输出上，以缓解梯度消失问题。
跳跃连接 (也称快捷连接或残差连接) 绕过一层或多层，将输入直接加到或拼接到下游层的输出上。在 ResNet 中，残差公式计算 x + F(x)，其中 F(x) 是学习到的变换，x 是恒等映射。
在深层网络中，梯度在反向传播过程中呈指数衰减。跳跃连接提供了无阻碍的梯度路径，使超过 100 层的稳定训练成为可能。ResNet-152 在 ImageNet 上达到 3.57% 的 top-5 错误率，证明了在适当快捷连接下深度可以提升精度。
- 残差学习：层学习残差 F(x) = H(x) - x 而非完整映射，使恒等变换易于表示，防止随深度增加而退化
- 密集连接：DenseNet 将所有前序层的输出拼接作为每层的输入，以增长率 k 控制通道扩展，最大化特征复用
- U-Net 跳跃连接：编码器各级的特征图与对应解码器级拼接，保留对分割至关重要的空间细节
跳跃连接在超分辨率、生成和检测的现代架构中无处不在。加法式 (ResNet) 与拼接式 (DenseNet/U-Net) 的选择取决于任务和内存约束。