ノイズ除去は最も重要なデータ処理タスクの1つであり、一般に多くの分野でのダウンストリーム画像分析の前提条件です。優れたノイズ除去性能にもかかわらず、教師ありディープノイズ除去方法では、実際には利用できないことが多い、ノイズクリーンまたはノイズノイズのペアのサンプルが必要です。一方、Noise2Voidやそのバリアントなどの教師なしディープノイズ除去方法は、単一のノイズの多い画像内の隣接するピクセルからマスクされたピクセルを予測します。ただし、これらの教師なしアルゴリズムは、独立したノイズの仮定の下でのみ機能しますが、実際のノイズ分布は通常、複雑な構造パターンと相関しています。ここでは、非局所的かつ非線形的に機能して、独立したノイズだけでなく相関するノイズも抑制する、この種の特徴の類似性に基づく教師なしノイズ除去アプローチを提案します。私たちのアプローチはNoise2Simと呼ばれます。これは、同様の信号を持つさまざまなノイズの多いサブイメージが抽出されて、可能な限り多くのトレーニングペアが形成されるため、深いノイズ除去ネットワークのパラメーターを自己学習方式で最適化できるためです。理論的には、Noise2Simは穏やかな条件下での教師あり学習方法と同等であるという定理が確立されています。実験的に、Noise2Simは、自然、顕微鏡、低線量CTおよびフォトンカウンティングマイクロCT画像で優れた結果を達成し、画像ノイズに依存しないかどうかに関係なく除去し、競合するノイズ除去方法よりも優れています。潜在的に、Noise2Simは研究の新しい方向性を開き、さまざまなアプリケーションでの適応型ノイズ除去ツールの開発につながるでしょう。
Denoising is one of the most important data processing tasks and is generally a prerequisite for downstream image analysis in many fields. Despite their superior denoising performance, supervised deep denoising methods require paired noise-clean or noise-noise samples often unavailable in practice. On the other hand, unsupervised deep denoising methods such as Noise2Void and its variants predict masked pixels from their neighboring pixels in single noisy images. However, these unsupervised algorithms only work under the independent noise assumption while real noise distributions are usually correlated with complex structural patterns. Here we propose the first-of-its-kind feature similarity-based unsupervised denoising approach that works in a nonlocal and nonlinear fashion to suppress not only independent but also correlated noise. Our approach is referred to as Noise2Sim since different noisy sub-images with similar signals are extracted to form as many as possible training pairs so that the parameters of a deep denoising network can be optimized in a self-learning fashion. Theoretically, the theorem is established that Noise2Sim is equivalent to the supervised learning methods under mild conditions. Experimentally, Noise2Sim achieves excellent results on natural, microscopic, low-dose CT and photon-counting micro-CT images, removing image noise independent or not and being superior to the competitive denoising methods. Potentially, Noise2Sim would open a new direction of research and lead to the development of adaptive denoising tools in diverse applications.