正則化
読み: せいそくか
モデルの複雑さにペナルティを課すことで過学習を抑制し、汎化性能を向上させる手法の総称。重み減衰やドロップアウトが代表例。
正則化 (Regularization) は、モデルが訓練データに過度に適合することを抑えるために、学習プロセスに制約を加える手法群の総称である。損失関数にペナルティ項を追加する方法、ネットワーク構造に確率的な変動を加える方法、学習データを操作する方法など多様なアプローチが存在する。
画像認識モデルの学習では、複数の正則化手法を組み合わせることがある。例えば ResNet の学習では L2 正則化 (Weight Decay = 0.0001) とデータ拡張を併用し、EfficientNet ではさらにドロップアウトと Stochastic Depth を追加する。
- L2 正則化 (Weight Decay): 損失関数に重みの二乗和 λΣw² を加算する。大きな重みにペナルティを課し、モデルが滑らかな関数を学習するよう誘導する。画像分類での λ の例は 0.0001-0.001
- L1 正則化: 重みの絶対値の和 λΣ|w| を加算する。一部の重みを完全に 0 にするスパース性を促進し、特徴選択の効果がある
- ドロップアウト: 学習時に各ニューロンを確率 p (例えば 0.5) で無効化する。アンサンブル学習の近似として機能し、特定の経路への依存を減らす
- バッチ正規化: 各層の入力を正規化することで内部共変量シフトを軽減する。正則化効果も持ち、ドロップアウトと併用しない場合もある
データ拡張自体を正則化手法として位置づける研究もある。手法の例に Mixup (2 枚の画像を線形補間)、CutMix (画像の一部を別画像で置換)、RandAugment (変換の自動探索) がある。