arXiv reaDer
Blind2Unblind:目に見える死角を伴う自己監視画像ノイズ除去
Blind2Unblind: Self-Supervised Image Denoising with Visible Blind Spots
大規模な実際のノイズの多いクリーンなペアは、コストがかかり、入手が困難です。一方、合成データでトレーニングされた監視対象のデノイザーは、実際にはパフォーマンスが低くなります。単一のノイズの多い画像からのみ学習する自己監視型デノイザーは、データ収集の問題を解決します。ただし、自己監視型のノイズ除去方法、特にブラインドスポット駆動の方法では、入力またはネットワークの設計中にかなりの情報損失が発生します。貴重な情報がないため、ノイズ除去パフォーマンスの上限が大幅に低下します。この論文では、ブラインドスポット駆動のノイズ除去方法での情報損失を克服するために、Blind2Unblindと呼ばれるシンプルで効率的なアプローチを提案します。まず、グローバルな知覚を可能にし、トレーニングを加速するグローバル対応のマスクマッパーを紹介します。マスクマッパーは、ノイズ除去されたボリュームの死角にあるすべてのピクセルをサンプリングし、それらを同じチャネルにマッピングします。これにより、損失関数ですべての死角を一度に最適化できます。次に、ノイズ除去ネットワークをトレーニングし、死角を可視化するために、再可視化された損失を提案します。デノイザーは、情報を失ったり、アイデンティティマッピングに閉じ込められたりすることなく、生のノイズ画像から直接学習できます。また、再可視損失の収束を理論的に分析します。合成データセットと実世界のデータセットに関する広範な実験は、以前の作業と比較して、私たちのアプローチの優れたパフォーマンスを示しています。コードはhttps://github.com/demonsjin/Blind2Unblindで入手できます。
Real noisy-clean pairs on a large scale are costly and difficult to obtain. Meanwhile, supervised denoisers trained on synthetic data perform poorly in practice. Self-supervised denoisers, which learn only from single noisy images, solve the data collection problem. However, self-supervised denoising methods, especially blindspot-driven ones, suffer sizable information loss during input or network design. The absence of valuable information dramatically reduces the upper bound of denoising performance. In this paper, we propose a simple yet efficient approach called Blind2Unblind to overcome the information loss in blindspot-driven denoising methods. First, we introduce a global-aware mask mapper that enables global perception and accelerates training. The mask mapper samples all pixels at blind spots on denoised volumes and maps them to the same channel, allowing the loss function to optimize all blind spots at once. Second, we propose a re-visible loss to train the denoising network and make blind spots visible. The denoiser can learn directly from raw noise images without losing information or being trapped in identity mapping. We also theoretically analyze the convergence of the re-visible loss. Extensive experiments on synthetic and real-world datasets demonstrate the superior performance of our approach compared to previous work. Code is available at https://github.com/demonsjin/Blind2Unblind.
updated: Mon Mar 14 2022 10:07:42 GMT+0000 (UTC)
published: Mon Mar 14 2022 10:07:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト