ノイズ除去方法の背後にある重要なアイデアは、ローカルまたは非ローカルのいずれかで、平均/平均化操作を実行することです。従来のノイズ除去方法に関する観察では、非局所平均(NLM)の結果は、通常、局所的にノイズ除去された結果よりも優れています。画像のノイズ除去で最高のパフォーマンスを達成しているにもかかわらず、教師ありの深いノイズ除去方法では、ノイズクリーンデータのペアが必要であり、多くの場合利用できません。この課題に対処するために、Noise2Noiseメソッドは、ペアのノイズクリーン画像を、収集が容易なペアのノイズノイズ画像に置き換えることができるという事実に基づいています。ただし、多くのシナリオでは、ペアのノイズノイズ画像の収集はまだ実用的ではありません。ラベル付けされた画像をバイパスするために、Noise2Voidメソッドは、単一のノイズの多い画像でのみ、周囲からマスクされたピクセルを予測します。 Noise2NoiseメソッドもNoise2Voidメソッドも、NLMメソッドのように画像内の自己類似性を利用しないのに対し、自己類似性/対称性が現代科学で重要な役割を果たしているのは残念です。ここでは、画像のノイズ除去のためのNLMに触発された自己学習方法であるNoise2Simを提案します。具体的には、Noise2Simは画像パッチの自己類似性を活用し、自己矛盾のない画像ノイズ除去のために類似パッチの中央ピクセル間でマッピングすることを学習します。私たちの統計分析は、Noise2Simが穏やかな条件下でNoise2Noiseと同等になる傾向があることを示しています。類似の画像パッチを見つけるプロセスを加速するために、Noise2Simトレーニング用のデータを提供する効率的な2段階の手順を設計します。これは、必要に応じて繰り返し実行できます。広範な実験により、一般的なベンチマークデータセットでのNoise2NoiseおよびNoise2Voidに対するNoise2Simの優位性が実証されています。
The key idea behind denoising methods is to perform a mean/averaging operation, either locally or non-locally. An observation on classic denoising methods is that non-local mean (NLM) outcomes are typically superior to locally denoised results. Despite achieving the best performance in image denoising, the supervised deep denoising methods require paired noise-clean data which are often unavailable. To address this challenge, Noise2Noise methods are based on the fact that paired noise-clean images can be replaced by paired noise-noise images which are easier to collect. However, in many scenarios the collection of paired noise-noise images are still impractical. To bypass labeled images, Noise2Void methods predict masked pixels from their surroundings in a single noisy image only. It is pitiful that neither Noise2Noise nor Noise2Void methods utilize self-similarities in an image as NLM methods do, while self-similarities/symmetries play a critical role in modern sciences. Here we propose Noise2Sim, an NLM-inspired self-learning method for image denoising. Specifically, Noise2Sim leverages self-similarities of image patches and learns to map between the center pixels of similar patches for self-consistent image denoising. Our statistical analysis shows that Noise2Sim tends to be equivalent to Noise2Noise under mild conditions. To accelerate the process of finding similar image patches, we design an efficient two-step procedure to provide data for Noise2Sim training, which can be iteratively conducted if needed. Extensive experiments demonstrate the superiority of Noise2Sim over Noise2Noise and Noise2Void on common benchmark datasets.