Dropout
一种在训练期间随机停用神经元的正则化技术，通过隐式训练子网络集成来防止共适应并减少过拟合。
Dropout 是一种正则化技术，在每个训练步骤中随机将一部分神经元激活值设为零。Srivastava 等人 2014 年的论文报告，它通过减少神经元之间的共适应显著降低过拟合。被丢弃的神经元在该迭代的前向和反向传播中均被排除。
直觉上，Dropout 在每个小批量上训练不同的子网络，近似于指数级数量子网络的集成。推理时所有神经元都处于活跃状态，输出按 (1 - 丢弃率) 缩放。也可使用反向 Dropout，在训练时进行缩放。
- 丢弃率选择：根据任务和数据量进行调整
- 空间 Dropout：丢弃整个特征图通道而非单个激活值，尊重卷积特征的空间相关结构
- DropPath（随机深度）：在 ResNet 和 Vision Transformer 的训练中随机跳过整个残差块
扩展包括 DropKey（应用于注意力权重）和 R-Drop（强制 Dropout 掩码间的输出一致性）。