RAW画像のノイズ除去のための効率的なニューラルネットワークを提案します。ニューラルネットワークベースのノイズ除去は、画像の復元について広く研究されてきましたが、スマートフォンやスマートウォッチなどの計算が制限され、電力に敏感なデバイスの効率的なノイズ除去にはほとんど注意が払われていません。このホワイトペーパーでは、モバイルデバイスで高品質のノイズ除去を行うための新しいアーキテクチャと一連のトレーニング手法を紹介します。私たちの仕事は、3つの主な貢献によって区別されます。 (1)機能-エンコーダー-デコーダーアーキテクチャのアクティブ化を入力ノイズの多い画像で変調するレイヤーを整列します。自動変調層は、畳み込みと非線形性の連続的な適用によって「洗い流される」傾向がある空間的に変化するノイズに注意を向けます。 (2)知覚的コンテンツ損失の形で大規模なノイズ除去ネットワークからの知識の蒸留を可能にする新しい機能マッチング損失。 (3)さまざまなノイズサブレンジに特化するようにトレーニングされた効率的なモデルの経験的分析。これにより、計算用のメモリを犠牲にすることで、モデルサイズを縮小するための追加の手段が開かれます。広範な実験的検証により、当社の効率的なモデルは、使用するパラメーターとMACを大幅に減らしながら、最先端の大規模ネットワークと競合する高品質のノイズ除去結果を生成することが示されています。ダルムシュタットノイズデータセットベンチマークでは、49.12dBを達成する最先端のネットワークよりも263倍少ないMACと17.6倍少ないパラメーターを使用しながら、48.28dBのPSNRを達成しています。
We propose an efficient neural network for RAW image denoising. Although neural network-based denoising has been extensively studied for image restoration, little attention has been given to efficient denoising for compute limited and power sensitive devices, such as smartphones and smartwatches. In this paper, we present a novel architecture and a suite of training techniques for high quality denoising in mobile devices. Our work is distinguished by three main contributions. (1) Feature-Align layer that modulates the activations of an encoder-decoder architecture with the input noisy images. The auto modulation layer enforces attention to spatially varying noise that tend to be "washed away" by successive application of convolutions and non-linearity. (2) A novel Feature Matching Loss that allows knowledge distillation from large denoising networks in the form of a perceptual content loss. (3) Empirical analysis of our efficient model trained to specialize on different noise subranges. This opens additional avenue for model size reduction by sacrificing memory for compute. Extensive experimental validation shows that our efficient model produces high quality denoising results that compete with state-of-the-art large networks, while using significantly fewer parameters and MACs. On the Darmstadt Noise Dataset benchmark, we achieve a PSNR of 48.28dB, while using 263 times fewer MACs, and 17.6 times fewer parameters than the state-of-the-art network, which achieves 49.12dB.