arXiv reaDer
敵対的損失と勾配マスクを使用したマルチステージ生ビデオノイズ除去
Multi-Stage Raw Video Denoising with Adversarial Loss and Gradient Mask
この論文では、低照明条件下でキャプチャされた生のビデオをノイズ除去するための学習ベースのアプローチを提案します。最初に、畳み込みニューラルネットワーク(CNN)を使用して、隣接するフレームを現在のフレームに明示的に位置合わせすることにより、これを行うことを提案します。次に、別のCNNを使用して登録済みフレームを融合し、最終的なノイズ除去フレームを取得します。時間的に離れたフレームを直接整列させることを避けるために、複数の段階で整列と融合の2つのプロセスを実行します。具体的には、各ステージで、3つの連続する入力フレームに対してノイズ除去プロセスを実行して、ノイズ除去された中間フレームを生成します。このフレームは、入力として次のステージに渡されます。複数の段階で処理を行うことにより、時間的に離れたフレームを直接整列させることなく、隣接するフレームの情報を有効に活用することができます。条件付き弁別器を使用した敵対的損失を使用して、多段階システムをトレーニングします。具体的には、滑らかな領域に高周波アーチファクトが発生するのを防ぐために、ソフトグラジエントマスクでディスクリミネーターを調整します。私たちのシステムが現実的な詳細で時間的に首尾一貫したビデオを生成できることを示します。さらに、広範な実験を通じて、私たちのアプローチが最先端の画像およびビデオのノイズ除去方法よりも数値的および視覚的に優れていることを示しています。
In this paper, we propose a learning-based approach for denoising raw videos captured under low lighting conditions. We propose to do this by first explicitly aligning the neighboring frames to the current frame using a convolutional neural network (CNN). We then fuse the registered frames using another CNN to obtain the final denoised frame. To avoid directly aligning the temporally distant frames, we perform the two processes of alignment and fusion in multiple stages. Specifically, at each stage, we perform the denoising process on three consecutive input frames to generate the intermediate denoised frames which are then passed as the input to the next stage. By performing the process in multiple stages, we can effectively utilize the information of neighboring frames without directly aligning the temporally distant frames. We train our multi-stage system using an adversarial loss with a conditional discriminator. Specifically, we condition the discriminator on a soft gradient mask to prevent introducing high-frequency artifacts in smooth regions. We show that our system is able to produce temporally coherent videos with realistic details. Furthermore, we demonstrate through extensive experiments that our approach outperforms state-of-the-art image and video denoising methods both numerically and visually.
updated: Fri Apr 16 2021 04:23:34 GMT+0000 (UTC)
published: Thu Mar 04 2021 06:57:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト