arXiv reaDer
自己監視型ディープブラインドビデオ超解像
Self-Supervised Deep Blind Video Super-Resolution
既存の深層学習ベースのビデオ超解像(SR)手法は、通常、教師あり学習アプローチに依存します。この場合、トレーニングデータは通常、既知または事前定義されたカーネル(Bicubicカーネルなど)を使用したぼかし操作とそれに続くデシメーション操作によって生成されます。ただし、劣化プロセスは複雑であり、これらのアイデアケースではうまく近似できないため、これは実際のアプリケーションには当てはまりません。さらに、実際のシナリオで高解像度(HR)ビデオとそれに対応する低解像度(LR)ビデオを取得することは困難です。これらの問題を克服するために、我々は、ブラインドビデオSR問題を解決するための自己監視学習法を提案します。これは、LRビデオからブラーカーネルとHRビデオを同時に推定します。監視としてLRビデオを直接使用すると、通常は簡単な解決策になります。ビデオSRの画像形成に従って、元のLRビデオから補助ペアデータを生成する簡単で効果的な方法を開発します。これにより、生成されたペアによってネットワークをより適切に制約できます。ブラーカーネル推定と潜在的なHRビデオ復元の両方のデータ。さらに、隣接するフレームからの情報を活用してHRビデオを復元するオプティカルフロー推定モジュールを紹介します。実験によると、私たちの方法は、ベンチマークや実際のビデオの最先端の方法に対して良好に機能します。
Existing deep learning-based video super-resolution (SR) methods usually depend on the supervised learning approach, where the training data is usually generated by the blurring operation with known or predefined kernels (e.g., Bicubic kernel) followed by a decimation operation. However, this does not hold for real applications as the degradation process is complex and cannot be approximated by these idea cases well. Moreover, obtaining high-resolution (HR) videos and the corresponding low-resolution (LR) ones in real-world scenarios is difficult. To overcome these problems, we propose a self-supervised learning method to solve the blind video SR problem, which simultaneously estimates blur kernels and HR videos from the LR videos. As directly using LR videos as supervision usually leads to trivial solutions, we develop a simple and effective method to generate auxiliary paired data from original LR videos according to the image formation of video SR, so that the networks can be better constrained by the generated paired data for both blur kernel estimation and latent HR video restoration. In addition, we introduce an optical flow estimation module to exploit the information from adjacent frames for HR video restoration. Experiments show that our method performs favorably against state-of-the-art ones on benchmarks and real-world videos.
updated: Wed Jan 19 2022 05:18:44 GMT+0000 (UTC)
published: Wed Jan 19 2022 05:18:44 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト