本研究では、「復元から復元」と呼ばれるシンプルで効果的な微調整アルゴリズムを提案します。これにより、完全に事前トレーニングされた画像ノイズ除去ネットワークのパフォーマンスを大幅に向上させることができます。多くの教師ありノイズ除去アプローチは、大規模な外部トレーニングデータセットを使用して満足のいく結果を生み出すことができます。ただし、これらの方法には、特定のテストイメージで利用可能な内部情報の使用に制限があります。対照的に、最近の自己監視アプローチでは、特定のテスト入力からの情報を利用して、入力画像のノイズを除去できます。ただし、このような方法は、監視ありの方法と比較して、ガウスノイズなどの既知のノイズタイプで比較的低いパフォーマンスを示します。したがって、外部情報と内部情報を組み合わせるために、テスト時に疑似トレーニングセットを使用して、完全に事前トレーニングされたデノイザーを微調整します。内部の自己相似パッチ(つまり、パッチの繰り返し)を利用することにより、ベースラインネットワークを特定の入力画像に適合させることができます。この方法は、最先端のノイズ除去ネットワーク上で簡単に使用でき、実際のノイズの多い画像を含む多数のノイズ除去ベンチマークデータセットのパフォーマンスをさらに向上させることができることを示しています。
In this study, we propose a simple and effective fine-tuning algorithm called "restore-from-restored", which can greatly enhance the performance of fully pre-trained image denoising networks. Many supervised denoising approaches can produce satisfactory results using large external training datasets. However, these methods have limitations in using internal information available in a given test image. By contrast, recent self-supervised approaches can remove noise in the input image by utilizing information from the specific test input. However, such methods show relatively lower performance on known noise types such as Gaussian noise compared to supervised methods. Thus, to combine external and internal information, we fine-tune the fully pre-trained denoiser using pseudo training set at test time. By exploiting internal self-similar patches (i.e., patch-recurrence), the baseline network can be adapted to the given specific input image. We demonstrate that our method can be easily employed on top of the state-of-the-art denoising networks and further improve the performance on numerous denoising benchmark datasets including real noisy images.