arXiv reaDer
実世界の画像ノイズ除去のための空間適応型自己教師あり学習
Spatially Adaptive Self-Supervised Learning for Real-World Image Denoising
ここ数年で、自己教師あり画像ノイズ除去 (SSID) が大幅に進歩しました。ただし、ほとんどの方法は、空間的に独立したノイズの処理に焦点を当てており、空間的に相関するノイズを含む現実世界の sRGB 画像ではほとんど実用的ではありません。ピクセル シャッフル ダウンサンプリングは、ノイズの相関関係を破るために提案されていますが、画像の元の情報が壊れるため、ノイズ除去のパフォーマンスが制限されます。この論文では、この問題を解決するための新しい視点を提案します。つまり、現実世界の sRGB 画像ノイズ除去のための空間適応監視を求めます。具体的には、ノイズの多い画像の平坦な領域とテクスチャ領域のそれぞれの特性を考慮し、それらの監視を個別に構築します。平坦な領域の場合、監視は、ノイズ相関の影響を排除するために現在のピクセルからはるかに離れている非隣接ピクセルから安全に導き出すことができます。また、ブラインド スポット ネットワークをブラインド ネイバーフッド ネットワーク (BNN) に拡張し、フラット エリアの監視を提供します。テクスチャ領域の場合、監視は隣接するピクセルのコンテンツと密接に関連している必要があります。また、LAN 自体は BNN の出力によって選択的に監視されますが、要件を満たすローカル認識ネットワーク (LAN) を提示します。これら 2 つの監視を組み合わせることで、ノイズ除去ネットワーク (U-Net など) を適切にトレーニングできます。広範な実験により、私たちの方法は、現実世界の sRGB 写真に対する最先端の SSID 方法に対して有利に機能することが示されています。コードは https://github.com/nagejacob/SpatiallyAdaptiveSSID で入手できます。
Significant progress has been made in self-supervised image denoising (SSID) in the recent few years. However, most methods focus on dealing with spatially independent noise, and they have little practicality on real-world sRGB images with spatially correlated noise. Although pixel-shuffle downsampling has been suggested for breaking the noise correlation, it breaks the original information of images, which limits the denoising performance. In this paper, we propose a novel perspective to solve this problem, i.e., seeking for spatially adaptive supervision for real-world sRGB image denoising. Specifically, we take into account the respective characteristics of flat and textured regions in noisy images, and construct supervisions for them separately. For flat areas, the supervision can be safely derived from non-adjacent pixels, which are much far from the current pixel for excluding the influence of the noise-correlated ones. And we extend the blind-spot network to a blind-neighborhood network (BNN) for providing supervision on flat areas. For textured regions, the supervision has to be closely related to the content of adjacent pixels. And we present a locally aware network (LAN) to meet the requirement, while LAN itself is selectively supervised with the output of BNN. Combining these two supervisions, a denoising network (e.g., U-Net) can be well-trained. Extensive experiments show that our method performs favorably against state-of-the-art SSID methods on real-world sRGB photographs. The code is available at https://github.com/nagejacob/SpatiallyAdaptiveSSID.
updated: Mon Mar 27 2023 06:18:20 GMT+0000 (UTC)
published: Mon Mar 27 2023 06:18:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト