arXiv reaDer
Merging-ISP: Multi-Exposure High Dynamic Range Image Signal Processing
 画像信号処理パイプライン(ISP)は、生データから高品質の表示可能な画像をキャプチャするデジタルカメラのコア要素です。ハイダイナミックレンジ(HDR)イメージングでは、ISPには、異なる露光時間での未処理のカラーフィルターアレイ(CFA)データのデモザイキング、露光のアライメント、HDRドメインへの変換、HDR画像への露光マージなどのステップが含まれます。従来、このようなパイプラインは、個々のサブタスクに対処するカスケードアルゴリズムによって構築されていました。ただし、複数の処理ステップを単に組み合わせることは、イメージングタスク全体にとって必ずしも最適ではないため、カスケード設計ではエラー伝播が発生します。この論文では、HDRイメージングのすべてのサブタスクを共同で解決するために、多重露光の高ダイナミックレンジ画像信号処理パイプライン(Merging-ISP)を提案します。パイプラインは、ディープニューラルネットワークアーキテクチャによってモデル化されています。そのため、エンドツーエンドのトレーニングが可能であり、コアで複雑な手作りアルゴリズムの使用を回避し、エラーの伝播を軽減します。 Merging-ISPにより、動的シーンからキャプチャされた複数の異なる露出の生CFA画像からHDR画像を直接再構築できます。 Merging-ISPと別のカスケードパイプラインを比較しました。エンドツーエンドの学習は、知覚品質の高いHDR再構築をもたらし、PSNRの点で競合するISPよりも1 dB以上定量的に優れています。
The image signal processing pipeline (ISP) is a core element of digital cameras to capture high-quality displayable images from raw data. In high dynamic range (HDR) imaging, ISPs include steps like demosaicing of raw color filter array (CFA) data at different exposure times, alignment of the exposures, conversion to HDR domain, and exposure merging into an HDR image. Traditionally, such pipelines are built by cascading algorithms addressing the individual subtasks. However, cascaded designs suffer from error propagations since simply combining multiple processing steps is not necessarily optimal for the entire imaging task. This paper proposes a multi-exposure high dynamic range image signal processing pipeline (Merging-ISP) to jointly solve all subtasks for HDR imaging. Our pipeline is modeled by a deep neural network architecture. As such, it is end-to-end trainable, circumvents the use of complex, hand-crafted algorithms in its core, and mitigates error propagation. Merging-ISP enables direct reconstructions of HDR images from multiple differently exposed raw CFA images captured from dynamic scenes. We compared Merging-ISP against different alternative cascaded pipelines. End-to-end learning leads to HDR reconstructions of high perceptual quality and quantitatively outperforms competing ISPs by more than 1 dB in terms of PSNR.
updated: Tue Nov 12 2019 09:53:50 GMT+0000 (UTC)
published: Tue Nov 12 2019 09:53:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト