アップサンプリング
読み: あっぷさんぷりんぐ
低解像度の画像や信号を高解像度に変換する処理。ピクセル数を増やし、補間やディープラーニングによって欠落した情報を推定・復元する技術である。
アップサンプリング (upsampling) とは、画像のピクセル数を元より多くする処理の総称である。例えば 256x256 の画像を 1024x1024 に拡大する場合、不足する 93.75% のピクセル情報を何らかの方法で補完する必要がある。古典的な手法から深層学習ベースの手法まで、目的に応じた多様なアルゴリズムが存在する。
- 最近傍補間: 最も近いピクセルの値をそのままコピーする。計算コストは最小だがブロックノイズが目立つ。ピクセルアートの拡大に適する
- バイリニア補間: 周囲 4 ピクセルの加重平均で新しい値を算出する。滑らかだがエッジがぼやける傾向がある
- バイキュービック補間: 周囲 16 ピクセルを参照し 3 次多項式で補間する。Photoshop のデフォルト拡大アルゴリズムとして広く使われる
- Lanczos 補間: sinc 関数に基づくフィルタで、シャープネスを維持しつつリンギングを抑制する。
ffmpeg -sws_flags lanczosで指定可能
近年はディープラーニングによる超解像 (Super-Resolution) が主流になりつつある。SRCNN、ESRGAN、Real-ESRGAN などのモデルは、学習データから高周波成分のパターンを学び、従来手法では復元不可能だったテクスチャやエッジを生成できる。4 倍拡大でも PSNR 30dB 以上を達成するモデルが登場している。
実務では用途に応じた使い分けが重要である。リアルタイム処理にはバイリニア、印刷用途にはバイキュービックや Lanczos、品質最優先の場合は AI 超解像を選択する。