本研究では、「復元から復元」と呼ばれる自己監視型ビデオノイズ除去方法を提案します。この方法では、テストフェーズで疑似クリーンビデオを使用して、事前にトレーニングされたネットワークを微調整します。疑似クリーンビデオは、ノイズの多いビデオをベースラインネットワークに適用することによって取得されます。ベースラインとして完全畳み込みニューラルネットワーク(FCN)を採用することにより、FCNの変換同変特性により、従来の多くのビデオ復元方法とは対照的に、正確なオプティカルフローの推定と登録手順なしでビデオのノイズ除去パフォーマンスを向上させることができます。具体的には、提案された方法は、複数の連続するフレームにわたって存在する多数の同様のパッチ(すなわち、パッチの繰り返し)を利用することができる。これらのパッチは、ベースラインネットワークのパフォーマンスを大幅に向上させることができます。提案された自己監視ベースの学習アルゴリズムを使用して微調整されたビデオノイズ除去ネットワークの復元パフォーマンスを分析し、FCNが隣接するフレーム間の正確な登録を必要とせずに繰り返しパッチを利用できることを示します。私たちの実験では、提案された方法を最先端のノイズ除去装置に適用し、微調整されたネットワークがノイズ除去性能の大幅な改善を達成することを示しています。
In this study, we propose a self-supervised video denoising method called "restore-from-restored." This method fine-tunes a pre-trained network by using a pseudo clean video during the test phase. The pseudo clean video is obtained by applying a noisy video to the baseline network. By adopting a fully convolutional neural network (FCN) as the baseline, we can improve video denoising performance without accurate optical flow estimation and registration steps, in contrast to many conventional video restoration methods, due to the translation equivariant property of the FCN. Specifically, the proposed method can take advantage of plentiful similar patches existing across multiple consecutive frames (i.e., patch-recurrence); these patches can boost the performance of the baseline network by a large margin. We analyze the restoration performance of the fine-tuned video denoising networks with the proposed self-supervision-based learning algorithm, and demonstrate that the FCN can utilize recurring patches without requiring accurate registration among adjacent frames. In our experiments, we apply the proposed method to state-of-the-art denoisers and show that our fine-tuned networks achieve a considerable improvement in denoising performance.