arXiv reaDer
ブレ形成プロセスの探索による実世界のビデオブレ除去に向けて
Towards Real-World Video Deblurring by Exploring Blur Formation Process
このホワイト ペーパーでは、実際に近いぼかしを合成する方法を探ることを目的としています。これらのぼかしでトレーニングされた既存のビデオのブレ除去モデルは、現実世界のぼやけたビデオにうまく一般化できます。近年、ディープラーニングベースのアプローチは、ビデオのブレ除去タスクで有望な成功を収めています。ただし、既存の合成データセットでトレーニングされたモデルは、望ましくないアーティファクトを含む現実世界のぼやけたシナリオで一般化の問題に悩まされています。失敗の要因は不明のままです。したがって、古典的なぼかし合成パイプラインを再検討し、撮影パラメータ、ぼかし形成スペース、画像信号プロセッサ (ISP) など、考えられる理由を見つけ出します。これらの潜在的な要因の影響を分析するために、まず超高フレームレート (940 FPS) の RAW ビデオ データセットをデータ ベースとして収集し、さまざまな種類のぼかしを合成します。次に、ぼかし形成の手がかりを活用することにより、RAW-Blur と呼ばれる新しいリアルなぼかし合成パイプラインを提案します。多数の実験を通じて、RAW 空間でぼかしを合成し、実際のテスト データと同じ ISP を採用することで、合成データの悪影響を効果的に排除できることを実証しています。さらに、合成されたぼやけたビデオの撮影パラメータ、たとえば露出時間やフレームレートは、モデルのぼけ除去のパフォーマンスを向上させる上で重要な役割を果たします。印象的なことに、提案された RAW-Blur パイプラインによって合成されたぼやけたデータでトレーニングされたモデルは、既存の合成ぼかしデータセットでトレーニングされたモデルに対して 5dB 以上の PSNR ゲインを得ることができます。新しい現実的な合成パイプラインと対応する RAW ビデオ データセットは、コミュニティが実際のデータ ペアを苦労して収集する代わりに、カスタマイズされたぼかしデータセットを簡単に構築して、現実世界のビデオのブレ除去パフォーマンスを大幅に向上させるのに役立つと信じています。
This paper aims at exploring how to synthesize close-to-real blurs that existing video deblurring models trained on them can generalize well to real-world blurry videos. In recent years, deep learning-based approaches have achieved promising success on video deblurring task. However, the models trained on existing synthetic datasets still suffer from generalization problems over real-world blurry scenarios with undesired artifacts. The factors accounting for the failure remain unknown. Therefore, we revisit the classical blur synthesis pipeline and figure out the possible reasons, including shooting parameters, blur formation space, and image signal processor~(ISP). To analyze the effects of these potential factors, we first collect an ultra-high frame-rate (940 FPS) RAW video dataset as the data basis to synthesize various kinds of blurs. Then we propose a novel realistic blur synthesis pipeline termed as RAW-Blur by leveraging blur formation cues. Through numerous experiments, we demonstrate that synthesizing blurs in the RAW space and adopting the same ISP as the real-world testing data can effectively eliminate the negative effects of synthetic data. Furthermore, the shooting parameters of the synthesized blurry video, e.g., exposure time and frame-rate play significant roles in improving the performance of deblurring models. Impressively, the models trained on the blurry data synthesized by the proposed RAW-Blur pipeline can obtain more than 5dB PSNR gain against those trained on the existing synthetic blur datasets. We believe the novel realistic synthesis pipeline and the corresponding RAW video dataset can help the community to easily construct customized blur datasets to improve real-world video deblurring performance largely, instead of laboriously collecting real data pairs.
updated: Sun Aug 28 2022 09:24:52 GMT+0000 (UTC)
published: Sun Aug 28 2022 09:24:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト