arXiv reaDer
はっきりと見てみましょう:移動するカメラの汚染アーティファクトの除去
Let's See Clearly: Contaminant Artifact Removal for Moving Cameras
カメラのレンズに付着したほこり、汚れ、湿気などの汚染物質は、結果の画像やビデオの品質と鮮明さに大きく影響する可能性があります。本論文では、これらの汚染物質を自動的に除去し、クリーンなビデオを生成するためのビデオ復元方法を提案します。私たちのアプローチは、最初に、復元する必要のある領域を示す注意マップを検出しようとします。隣接するフレームからの対応するクリーンなピクセルを活用するために、汚染物質によって劣化した注意領域への背景シーンの流れを幻覚化するフロー完了モジュールを提案します。アテンションマップと完成したフローに基づいて、隣接するフレームからクリーンなピクセルをフェッチすることにより、入力フレームを復元する反復手法を提案します。最後に、マルチフレーム処理ステージを使用して、時間的な一貫性を確保するためにビデオシーケンス全体をさらに処理します。ネットワーク全体は、汚染物質のアーティファクトの物理的な照明特性を概算する合成データセットでトレーニングされます。この新しいデータセットと新しいフレームワークは、さまざまな汚染物質に対処し、定性的および定量的に競合する復元アプローチよりも優れたパフォーマンスを発揮する方法につながります。
Contaminants such as dust, dirt and moisture adhering to the camera lens can greatly affect the quality and clarity of the resulting image or video. In this paper, we propose a video restoration method to automatically remove these contaminants and produce a clean video. Our approach first seeks to detect attention maps that indicate the regions that need to be restored. In order to leverage the corresponding clean pixels from adjacent frames, we propose a flow completion module to hallucinate the flow of the background scene to the attention regions degraded by the contaminants. Guided by the attention maps and completed flows, we propose a recurrent technique to restore the input frame by fetching clean pixels from adjacent frames. Finally, a multi-frame processing stage is used to further process the entire video sequence in order to enforce temporal consistency. The entire network is trained on a synthetic dataset that approximates the physical lighting properties of contaminant artifacts. This new dataset and our novel framework lead to our method that is able to address different contaminants and outperforms competitive restoration approaches both qualitatively and quantitatively.
updated: Sun Apr 18 2021 13:37:34 GMT+0000 (UTC)
published: Sun Apr 18 2021 13:37:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト