arXiv reaDer
Lightness Modulated Deep Inverse Tone Mapping
単一画像HDR再構成または逆トーンマッピング(iTM)は困難な作業です。特に、露出過度の領域での情報の回復は、そのような領域の詳細がほぼ完全に失われるため、非常に困難です。この論文では、深層畳み込みニューラルネットワーク(CNN)の特徴抽出とマッピング能力を活用し、CNNを変調する前に明度を使用して、周辺地域の観測をより有効に活用する深層学習ベースのiTM手法を紹介します。 -HDR画像再構成の品質を向上させるための露出領域。具体的には、LDR入力からHDR画像を推定するための階層合成ネットワーク(HiSN)と、推定プロセスに明度の事前知識を組み込むための明度適応変調ネットワーク(LAMN)を紹介します。 HiSNは、HDR画像の高輝度成分と低輝度成分を階層的に合成します。LAMNは、明度適応マスクを使用して、細部のない飽和した明るいピクセルを露出の良い低光ピクセルから分離し、HiSNが欠落をより適切に推測できるようにします。情報、特に露出オーバーの難しいディテールのない領域で。定量的測定と視覚的比較に基づいて、新しい手法の有効性を実証するための実験結果を提示します。さらに、HiSNのアブレーション研究とLAMN内のアクティベーションマップの視覚化を紹介し、新しいiTMアルゴリズムの内部動作をより深く理解し、最先端のアルゴリズムよりもはるかに優れたパフォーマンスを実現できる理由を説明します。 。
Single-image HDR reconstruction or inverse tone mapping (iTM) is a challenging task. In particular, recovering information in over-exposed regions is extremely difficult because details in such regions are almost completely lost. In this paper, we present a deep learning based iTM method that takes advantage of the feature extraction and mapping power of deep convolutional neural networks (CNNs) and uses a lightness prior to modulate the CNN to better exploit observations in the surrounding areas of the over-exposed regions to enhance the quality of HDR image reconstruction. Specifically, we introduce a Hierarchical Synthesis Network (HiSN) for inferring a HDR image from a LDR input and a Lightness Adpative Modulation Network (LAMN) to incorporate the the lightness prior knowledge in the inferring process. The HiSN hierarchically synthesizes the high-brightness component and the low-brightness component of the HDR image whilst the LAMN uses a lightness adaptive mask that separates detail-less saturated bright pixels from well-exposed lower light pixels to enable HiSN to better infer the missing information, particularly in the difficult over-exposed detail-less areas. We present experimental results to demonstrate the effectiveness of the new technique based on quantitative measures and visual comparisons. In addition, we present ablation studies of HiSN and visualization of the activation maps inside LAMN to help gain a deeper understanding of the internal working of the new iTM algorithm and explain why it can achieve much improved performance over state-of-the-art algorithms.
updated: Fri Jul 16 2021 13:56:20 GMT+0000 (UTC)
published: Fri Jul 16 2021 13:56:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト