arXiv reaDer
効率的なノイズ除去のための機能調整ネットワークと知識蒸留
Feature-Align Network and Knowledge Distillation for Efficient Denoising
ディープラーニングベースのRAW画像のノイズ除去は、画像復元の典型的な問題です。最近の作品は、画質のノイズ除去において最先端技術を推進しています。ただし、これらのネットワークの多くは、モバイルデバイスで効率的に使用するには計算コストが高すぎます。ここでは、モバイルデバイス上で効率的なRAWノイズ除去のための新しいネットワークを提案します。私たちの貢献は次のとおりです。(1)空間的に変化するノイズに対応するために、新しいFeature-Alignレイヤーで強化された効率的なエンコーダーデコーダーネットワーク。 (2)高周波画像コンテンツを保存するためにRAWドメインで計算された新しい知覚的特徴損失。 (3)ノイズレベルの異なるサブレンジに調整された複数のモデルの使用の分析。 (4)RAWノイズ除去の研究を容易にするための、ノイズモデリングを備えたオープンソースのRAWノイズクリーンペアデータセット。提案されたネットワークとトレーニング手法の有効性を評価し、使用するパラメーターとMACを大幅に減らしながら、最先端のネットワークと競合する結果を示します。ダルムシュタットノイズデータセットベンチマークでは、49.12 dBを達成する最先端のネットワークよりも、MACが263倍、パラメーターが17.6倍少ない48.28dBのPSNRを達成しています。
Deep learning-based RAW image denoising is a quintessential problem in image restoration. Recent works have pushed the state-of-the-art in denoising image quality. However, many of these networks are computationally too expensive for efficient use in mobile devices. Here, we propose a novel network for efficient RAW denoising on mobile devices. Our contributions are: (1) An efficient encoder-decoder network augmented with a new Feature-Align layer to attend to spatially varying noise. (2) A new perceptual Feature Loss calculated in the RAW domain to preserve high frequency image content. (3) An analysis of the use of multiple models tuned to different subranges of noise levels. (4) An open-source RAW noisy-clean paired dataset with noise modeling, to facilitate research in RAW denoising. We evaluate the effectiveness of our proposed network and training techniques and show results that compete with the state-of-the-art network, while using significantly fewer parameters and MACs. On the Darmstadt Noise Dataset benchmark, we achieve a PSNR of 48.28dB, with 263 times fewer MACs, and 17.6 times fewer parameters than the state-of-the-art network, which achieves 49.12 dB.
updated: Tue Mar 02 2021 07:09:32 GMT+0000 (UTC)
published: Tue Mar 02 2021 07:09:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト