arXiv reaDer
実世界のブラインド画像ノイズ除去のための畳み込み対自己組織化オペレーショナルニューラルネットワーク
Convolutional versus Self-Organized Operational Neural Networks for Real-World Blind Image Denoising
実世界のブラインドノイズ除去は、基礎となるノイズ分布の非決定論的な性質のために、独特の画像復元の課題を提起します。合成ノイズモデルでトレーニングされた一般的な識別ネットワークは、実際のノイズの多い画像への一般化が不十分であることが示されています。実世界のノイズの多い画像をキュレートし、グラウンドトゥルース推定手順を改善することは依然として重要な関心事ですが、潜在的な研究の方向性は、単にではなく、より少ないデータとより低いネットワークの複雑さでより良い一般化を可能にするために、広く使用されている畳み込みニューロンモデルの拡張を探ることですより深い畳み込みニューラルネットワーク(CNN)を使用します。オペレーショナルニューラルネットワーク(ONN)とその最近のバリアントである自己組織化ONN(Self-ONN)は、ニューロンモデルに強化された非線形性を組み込むことを提案し、さまざまな回帰タスクでCNNよりも優れていることが示されています。ただし、このような比較はすべてコンパクトネットワークで行われており、現代のディープアーキテクチャの畳み込み層のドロップイン代替として運用層を展開することの有効性はまだわかっていません。この作品では、初めて深いSelf-ONNを採用することで、現実世界のブラインド画像のノイズ除去問題に取り組んでいます。最先端のディープCNNネットワークであるDnCNNに対して、複数のメトリックと4つの高解像度の実世界のノイズの多い画像データセットにまたがる広範な定量的および定性的評価により、ディープセルフONNが一貫して優れた結果を達成し、最大でパフォーマンスが向上することが明らかになりました。 PSNRで1.76dB。さらに、DnCNNのように計算リソースのごく一部しか必要としないレイヤー数が半分または4分の1のSelf-ONNでも、最先端と比較して同等またはそれ以上の結果を得ることができます。
Real-world blind denoising poses a unique image restoration challenge due to the non-deterministic nature of the underlying noise distribution. Prevalent discriminative networks trained on synthetic noise models have been shown to generalize poorly to real-world noisy images. While curating real-world noisy images and improving ground truth estimation procedures remain key points of interest, a potential research direction is to explore extensions to the widely used convolutional neuron model to enable better generalization with fewer data and lower network complexity, as opposed to simply using deeper Convolutional Neural Networks (CNNs). Operational Neural Networks (ONNs) and their recent variant, Self-organized ONNs (Self-ONNs), propose to embed enhanced non-linearity into the neuron model and have been shown to outperform CNNs across a variety of regression tasks. However, all such comparisons have been made for compact networks and the efficacy of deploying operational layers as a drop-in replacement for convolutional layers in contemporary deep architectures remains to be seen. In this work, we tackle the real-world blind image denoising problem by employing, for the first time, a deep Self-ONN. Extensive quantitative and qualitative evaluations spanning multiple metrics and four high-resolution real-world noisy image datasets against the state-of-the-art deep CNN network, DnCNN, reveal that deep Self-ONNs consistently achieve superior results with performance gains of up to 1.76dB in PSNR. Furthermore, Self-ONNs with half and even quarter the number of layers that require only a fraction of computational resources as that of DnCNN can still achieve similar or better results compared to the state-of-the-art.
updated: Wed May 05 2021 20:21:56 GMT+0000 (UTC)
published: Thu Mar 04 2021 14:49:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト