arXiv reaDer
共同デモザイキングとノイズ除去を超えて:ピクセルビンイメージセンサーの画像処理パイプライン
Beyond Joint Demosaicking and Denoising: An Image Processing Pipeline for a Pixel-bin Image Sensor
ピクセルビニングは、スマートフォンカメラのハードウェア制限に取り組むための最も顕著なソリューションの1つと見なされています。多くの利点があるにもかかわらず、このようなイメージセンサーは、ビニング機能を有効にするために、アーティファクトが発生しやすい非バイエルカラーフィルターアレイ(CFA)を適切に使用する必要があります。逆に、デモザイキングやノイズ除去などの重要な画像信号処理(ISP)タスクを、このようなCFAパターンを使用して明示的に実行すると、再構築プロセスが著しく複雑になります。この論文では、新しい学習ベースの方法を導入することにより、このようなイメージセンサーでの共同デモザイキングとノイズ除去(JDD)の課題に取り組んでいます。提案された方法は、深いネットワークにおける深さと空間的注意を活用します。提案されたネットワークは、視覚的にもっともらしい画像を生成するための2つの新しい知覚損失を含む、多期間の目的関数によって導かれます。さらに、提案された画像処理パイプラインを拡張して、ピクセルビニング技術を使用するスマートフォンカメラでキャプチャされた画像を包括的に再構築および強化します。実験結果は、提案された方法が定性的および定量的比較において顕著なマージンによって既存の方法を上回ることができることを示しています。利用可能なコード:https://github.com/sharif-apu/BJDD_CVPR21。
Pixel binning is considered one of the most prominent solutions to tackle the hardware limitation of smartphone cameras. Despite numerous advantages, such an image sensor has to appropriate an artefact-prone non-Bayer colour filter array (CFA) to enable the binning capability. Contrarily, performing essential image signal processing (ISP) tasks like demosaicking and denoising, explicitly with such CFA patterns, makes the reconstruction process notably complicated. In this paper, we tackle the challenges of joint demosaicing and denoising (JDD) on such an image sensor by introducing a novel learning-based method. The proposed method leverages the depth and spatial attention in a deep network. The proposed network is guided by a multi-term objective function, including two novel perceptual losses to produce visually plausible images. On top of that, we stretch the proposed image processing pipeline to comprehensively reconstruct and enhance the images captured with a smartphone camera, which uses pixel binning techniques. The experimental results illustrate that the proposed method can outperform the existing methods by a noticeable margin in qualitative and quantitative comparisons. Code available: https://github.com/sharif-apu/BJDD_CVPR21.
updated: Mon Apr 19 2021 15:41:28 GMT+0000 (UTC)
published: Mon Apr 19 2021 15:41:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト