スマートフォンの人気が高まるにつれ、高品質の画像をキャプチャすることはスマートフォンにとって非常に重要です。スマートフォンのカメラは、絞りが小さく、センサーセルが小さいため、暗い場所で画像にノイズが発生します。複数のフレームのバーストに基づくノイズ除去は、一般に単一フレームのノイズ除去よりも優れていますが、計算コストが高くなります。本論文では、効率的でありながら効果的なバーストノイズ除去システムを提案する。ノイズ事前統合、マルチフレームアライメント、マルチフレームノイズ除去の3段階の設計を採用しています。まず、生の信号を分散安定化空間に前処理することでノイズを事前に統合します。これにより、小規模なネットワークを使用して競争力のあるパフォーマンスを実現できます。次に、バーストノイズ除去には明示的なアラインメントを採用することが不可欠ですが、マルチフレームアラインメントを実行するために学習ベースの方法を統合する必要はありません。代わりに、従来の効率的な位置合わせ方法に頼り、それをマルチフレームノイズ除去ネットワークと組み合わせます。最後に、複数のフレームを順番に処理するノイズ除去戦略を提案します。シーケンシャルノイズ除去は、複数のフレームノイズ除去をいくつかの効率的なサブネットワークノイズ除去に分解することにより、多数のフレームのフィルタリングを回避します。各サブネットワークについては、異なる周波数のノイズを除去するための効率的な多周波数ノイズ除去ネットワークを提案します。当社の3段階設計は効率的であり、バーストノイズ除去で強力なパフォーマンスを示します。合成データセットと実際の生データセットでの実験は、私たちの方法が最先端の方法よりも優れており、計算コストが低いことを示しています。さらに、複雑さが低く高品質のパフォーマンスにより、スマートフォンへの展開が可能になります。
With the growing popularity of smartphones, capturing high-quality images is of vital importance to smartphones. The cameras of smartphones have small apertures and small sensor cells, which lead to the noisy images in low light environment. Denoising based on a burst of multiple frames generally outperforms single frame denoising but with the larger compututional cost. In this paper, we propose an efficient yet effective burst denoising system. We adopt a three-stage design: noise prior integration, multi-frame alignment and multi-frame denoising. First, we integrate noise prior by pre-processing raw signals into a variance-stabilization space, which allows using a small-scale network to achieve competitive performance. Second, we observe that it is essential to adopt an explicit alignment for burst denoising, but it is not necessary to integrate a learning-based method to perform multi-frame alignment. Instead, we resort to a conventional and efficient alignment method and combine it with our multi-frame denoising network. At last, we propose a denoising strategy that processes multiple frames sequentially. Sequential denoising avoids filtering a large number of frames by decomposing multiple frames denoising into several efficient sub-network denoising. As for each sub-network, we propose an efficient multi-frequency denoising network to remove noise of different frequencies. Our three-stage design is efficient and shows strong performance on burst denoising. Experiments on synthetic and real raw datasets demonstrate that our method outperforms state-of-the-art methods, with less computational cost. Furthermore, the low complexity and high-quality performance make deployment on smartphones possible.