arXiv reaDer
Merging-ISP: Multi-Exposure High Dynamic Range Image Signal Processing
ハイダイナミックレンジ(HDR)イメージングは、露光時間が異なる複数の画像を1つの高品質画像に結合します。画像信号処理パイプライン(ISP)は、これらの操作を実行するためのデジタルカメラのコアコンポーネントです。これには、さまざまな露出時間での生のカラーフィルターアレイ(CFA)データのデモザイキング、露出の調整、HDRドメインへの変換、およびHDR画像への露出のマージが含まれます。従来、このようなパイプラインは、これらの個々のサブタスクに対処するアルゴリズムをカスケードします。ただし、カスケード設計では、複数のステップを単純に組み合わせることがイメージングタスク全体に必ずしも最適であるとは限らないため、エラーが伝播するという問題があります。このホワイトペーパーでは、これらすべてのサブタスクを共同で解決するために、多重露光HDR画像信号処理パイプライン(Merging-ISP)を提案します。私たちのパイプラインは、ディープニューラルネットワークアーキテクチャによってモデル化されています。そのため、エンドツーエンドでトレーニング可能であり、手作りの潜在的に複雑なアルゴリズムの使用を回避し、エラーの伝播を軽減します。マージ-ISPは、異なる露出の複数の生のCFA画像から動的シーンのHDR画像の直接再構成を可能にします。 Merging-ISPを、いくつかの最先端のカスケードパイプラインと比較します。提案された方法は、高い知覚品質のHDR再構成を提供し、PSNRの点で競合するISPを1dB以上上回っています。
High dynamic range (HDR) imaging combines multiple images with different exposure times into a single high-quality image. The image signal processing pipeline (ISP) is a core component in digital cameras to perform these operations. It includes demosaicing of raw color filter array (CFA) data at different exposure times, alignment of the exposures, conversion to HDR domain, and exposure merging into an HDR image. Traditionally, such pipelines cascade algorithms that address these individual subtasks. However, cascaded designs suffer from error propagation, since simply combining multiple steps is not necessarily optimal for the entire imaging task. This paper proposes a multi-exposure HDR image signal processing pipeline (Merging-ISP) to jointly solve all these subtasks. Our pipeline is modeled by a deep neural network architecture. As such, it is end-to-end trainable, circumvents the use of hand-crafted and potentially complex algorithms, and mitigates error propagation. Merging-ISP enables direct reconstructions of HDR images of dynamic scenes from multiple raw CFA images with different exposures. We compare Merging-ISP against several state-of-the-art cascaded pipelines. The proposed method provides HDR reconstructions of high perceptual quality and it quantitatively outperforms competing ISPs by more than 1 dB in terms of PSNR.
updated: Mon Oct 04 2021 14:09:22 GMT+0000 (UTC)
published: Tue Nov 12 2019 09:53:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト