正則化
読み: せいそくか
モデルの複雑さにペナルティを課すことで過学習を抑制し、汎化性能を向上させる手法の総称。重み減衰やドロップアウトが代表例。
正則化 (Regularization) は、モデルが訓練データに過度に適合することを防ぐために、学習プロセスに制約を加える手法群の総称である。損失関数にペナルティ項を追加する方法、ネットワーク構造に確率的な変動を加える方法、学習データを操作する方法など多様なアプローチが存在する。
画像認識モデルの学習では、複数の正則化手法を組み合わせて使用するのが一般的である。例えば ResNet の学習では L2 正則化 (Weight Decay = 0.0001) とデータ拡張を併用し、EfficientNet ではさらにドロップアウトと Stochastic Depth を追加する。
- L2 正則化 (Weight Decay): 損失関数に重みの二乗和 λΣw² を加算する。大きな重みにペナルティを課し、モデルが滑らかな関数を学習するよう誘導する。λ = 0.0001-0.001 が画像分類での典型値
- L1 正則化: 重みの絶対値の和 λΣ|w| を加算する。一部の重みを完全に 0 にするスパース性を促進し、特徴選択の効果がある
- ドロップアウト: 学習時に各ニューロンを確率 p (通常 0.5) で無効化する。アンサンブル学習の近似として機能し、特定の経路への依存を防ぐ
- バッチ正規化: 各層の入力を正規化することで内部共変量シフトを軽減する。正則化効果も持ち、ドロップアウトと併用しない場合もある
近年はデータ拡張自体を強力な正則化手法として位置づける研究が増えている。Mixup (2 枚の画像を線形補間)、CutMix (画像の一部を別画像で置換)、RandAugment (変換の自動探索) などが高い正則化効果を示している。