スキップ接続
読み: すきっぷせつぞく
ニューラルネットワークの層を飛び越えて入力を直接後段に加算する接続構造。勾配消失を緩和し、深いネットワークの学習を安定させる。
スキップ接続 (Skip Connection) は、ある層の出力を 1 つ以上の層を飛び越えて後段の層に直接加算またはチャンネル方向に結合する構造である。ResNet で提案された残差接続 (Residual Connection) が代表例であり、入力 x に対して層の出力 F(x) を加算した x + F(x) を次の層に渡す。
深いネットワークでは勾配消失問題により学習が停滞しやすいが、スキップ接続を導入すると勾配が加算パスを通じて直接伝播するため、100 層を超える深さでも安定した学習が可能になる。ResNet-152 は 152 層の深さで ImageNet トップ 5 エラー率 3.57% を達成した。
- 残差学習: 層が学習すべき対象を入力からの差分 (残差) F(x) = H(x) - x に限定することで、恒等写像に近い変換を容易に学習できる。これにより層を追加しても精度が劣化しないことが保証される
- Dense Connection: DenseNet では各層が先行する全層の出力をチャンネル方向に結合する。パラメータ効率が高く、特徴の再利用を最大限に促進する設計である
- U-Net のスキップ接続: エンコーダーの各解像度レベルの特徴マップをデコーダーの対応レベルに結合し、空間的な細部情報を保持する。セグメンテーション精度の向上に不可欠である
スキップ接続は超解像、画像生成、物体検出など現代の画像処理モデルのほぼ全てに組み込まれており、深層学習の基盤技術として広く定着している。加算型と結合型の選択はタスクの要件やメモリ制約に応じて慎重に判断する必要がある。