arXiv reaDer
LightFuse: 軽量 CNN ベースの二重露光フュージョン
LightFuse: Lightweight CNN based Dual-exposure Fusion
ディープ畳み込みニューラル ネットワーク (DCNN) は、最近、ハイ ダイナミック レンジ (HDR) イメージングを支援しており、多くの注目を集めています。 DCNN で生成された HDR 画像の品質は、従来の対応する画像よりも優れています。ただし、DCNN は計算集約的で電力を大量に消費する傾向があるため、電力とハードウェア リソースが限られているさまざまな組み込みコンピューティング プラットフォームに実装することはできません。組み込みシステムには巨大な市場があり、DCNN の強力な機能を組み込みシステムに利用することで、人間の介入をさらに減らすことができます。この課題に対処するために、従来の DCNN よりも優れた機能を実現し、組み込みシステムに展開できる、極端な二重露光画像融合のための軽量の CNN ベースのアルゴリズムである LightFuse を提案します。 GlobalNet (G) と DetailNet (D) の 2 つのサブネットワークが使用されます。 G の目標は空間次元でグローバル イルミネーション情報を学習することですが、D はチャネル次元で局所的な詳細を強化することを目的としています。 G と D はどちらも、必要なパラメーターと計算を削減するために、深さ方向の畳み込み (D_Conv) と点方向の畳み込み (P_Conv) のみに基づいています。実験結果は、この提案された技術が、非常に露出した領域で、読みやすい十分な詳細を持つ HDR 画像を生成できることを示しています。私たちのモデルは、16.7 から 306.2 倍のパラメーター削減を達成しながら、ピーク信号対雑音比 (PSNR) スコアで 0.9 から 8.7 の他の最先端のアプローチよりも優れています。
Deep convolutional neural networks (DCNNs) have aided high dynamic range (HDR) imaging recently and have received a lot of attention. The quality of DCNN-generated HDR images has overperformed the traditional counterparts. However, DCNNs are prone to be computationally intensive and power-hungry, and hence cannot be implemented on various embedded computing platforms with limited power and hardware resources. Embedded systems have a huge market, and utilizing DCNNs' powerful functionality into them will further reduce human intervention. To address the challenge, we propose LightFuse, a lightweight CNN-based algorithm for extreme dual-exposure image fusion, which achieves better functionality than a conventional DCNN and can be deployed in embedded systems. Two sub-networks are utilized: a GlobalNet (G) and a DetailNet (D). The goal of G is to learn the global illumination information on the spatial dimension, whereas D aims to enhance local details on the channel dimension. Both G and D are based solely on depthwise convolution (D_Conv) and pointwise convolution (P_Conv) to reduce required parameters and computations. Experimental results show that this proposed technique could generate HDR images in extremely exposed regions with sufficient details to be legible. Our model outperforms other state-of-the-art approaches in peak signal-to-noise ratio (PSNR) score by 0.9 to 8.7 while achieving 16.7 to 306.2 times parameter reduction.
updated: Thu Sep 22 2022 20:24:19 GMT+0000 (UTC)
published: Mon Jul 05 2021 22:10:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト