過学習

過学習 (Overfitting) は、モデルが訓練データのノイズや個別パターンまで記憶してしまい、新しいデータに対する予測性能が劣化する現象である。訓練精度が 99% を超えるのに検証精度が 70% 程度にとどまるような状況が典型例であり、モデルの複雑さに対してデータ量が不足している場合に発生しやすい。

画像認識では、数百万パラメーターを持つ CNN を数千枚程度の小規模データセットで学習すると過学習が起こりうる。

• データ拡張: 回転、反転、色変換、ランダムクロップなどで訓練データを水増しし、実質的なデータ量を増やす
• ドロップアウト: 学習時にランダムにニューロンを無効化 (例えば 50%) し、特定のニューロンへの過度な依存を防ぐ。推論時は全ニューロンを使用し、出力の大きさを補正する
• 早期終了: 検証損失が改善しなくなった時点で学習を停止する
• 正則化: L2 正則化 (Weight Decay) で重みの大きさにペナルティを課し、モデルの複雑さを制約する

過学習対策には転移学習もある。大規模データで事前学習したモデルの特徴抽出能力を活用し、少量のタスク固有データでファインチューニングする。