従来の画像ノイズ除去方法は、非局所的な自己相似性の原理を利用して、ノイズの多い画像から画像コンテンツを効果的に復元します。現在の最先端の方法では、深い畳み込みニューラルネットワーク(CNN)を使用して、ノイズの多い画像からクリーンな画像へのマッピングを効果的に学習します。深いノイズ除去CNNは、隠れ層の多数のカスケードによって生成される大きな受容野のために、高い学習能力を示し、非ローカル情報を統合します。ただし、ディープネットワークも計算が複雑であり、トレーニングには大量のデータが必要です。これらの問題に対処するために、この研究では、コンパクトで浅いモデルで同等以上のノイズ除去性能を実現できる新しいニューロンモデルによって強化された自己組織化オペレーショナルニューラルネットワーク(Self-ONN)に焦点を当てています。最近、受容野サイズを強化するために非局在化カーネル位置を利用することにより、生成ニューロンの非線形変換を増強する超ニューロンの概念が導入されました。これは、深いネットワーク構成の必要性をもたらす重要な成果です。非局所情報の統合はノイズ除去に役立つことが知られているため、この作業では、合成画像と実世界の画像のノイズ除去の両方にスーパーニューロンを使用することを調査します。また、GPUにスーパーニューロンモデルを実装する際の実際的な問題について説明し、ローカライズされていない操作の不均一性と計算の複雑さの間のトレードオフを提案します。私たちの結果は、同じ幅と深さで、スーパーニューロンを備えたSelf-ONNが、両方のノイズ除去タスクに対して生成ニューロンと畳み込みニューロンを備えたネットワーク上でノイズ除去パフォーマンスを大幅に向上させることを示しています。さらに、結果は、スーパーニューロンを備えたSelf-ONNが、それぞれ合成および実世界のノイズ除去用のよく知られたディープCNNノイズ除去装置よりも競争力のある優れた合成ノイズ除去性能を達成できることを示しています。
Classical image denoising methods utilize the non-local self-similarity principle to effectively recover image content from noisy images. Current state-of-the-art methods use deep convolutional neural networks (CNNs) to effectively learn the mapping from noisy to clean images. Deep denoising CNNs manifest a high learning capacity and integrate non-local information owing to the large receptive field yielded by numerous cascade of hidden layers. However, deep networks are also computationally complex and require large data for training. To address these issues, this study draws the focus on the Self-organized Operational Neural Networks (Self-ONNs) empowered by a novel neuron model that can achieve a similar or better denoising performance with a compact and shallow model. Recently, the concept of super-neurons has been introduced which augment the non-linear transformations of generative neurons by utilizing non-localized kernel locations for an enhanced receptive field size. This is the key accomplishment which renders the need for a deep network configuration. As the integration of non-local information is known to benefit denoising, in this work we investigate the use of super neurons for both synthetic and real-world image denoising. We also discuss the practical issues in implementing the super neuron model on GPUs and propose a trade-off between the heterogeneity of non-localized operations and computational complexity. Our results demonstrate that with the same width and depth, Self-ONNs with super neurons provide a significant boost of denoising performance over the networks with generative and convolutional neurons for both denoising tasks. Moreover, results demonstrate that Self-ONNs with super neurons can achieve a competitive and superior synthetic denoising performances than well-known deep CNN denoisers for synthetic and real-world denoising, respectively.