ディープ畳み込みニューラルネットワーク(DCNN)支援のハイダイナミックレンジ(HDR)イメージングは、最近多くの注目を集めました。 DCNNで生成されたHDR画像の品質は、従来の画像を上回っています。ただし、DCNNは、計算量が多く、電力を大量に消費する傾向があります。この課題に対処するために、極端な二重露光画像融合のための軽量CNNベースのアルゴリズムであるLightFuseを提案します。これは、限られた電力とハードウェアリソースでさまざまな組み込みコンピューティングプラットフォームに実装できます。 GlobalNet(G)とDetailNet(D)の2つのサブネットワークが使用されます。 Gの目標は、空間次元のグローバル情報を学習することですが、Dは、チャネル次元のローカル詳細を強化することを目的としています。 GとDはどちらも、必要なパラメーターと計算を減らすために、深さ方向の畳み込み(D Conv)と点ごとの畳み込み(P Conv)のみに基づいています。実験結果は、提案された技術が極端に露出された領域でもっともらしい詳細を備えたHDR画像を生成できることを示しています。私たちのモデルは、PSNRスコアで他の最先端のアプローチを0.7から8.5だけ上回っていますが、パラメーターの削減は1.4から25.9倍になっています。
Deep convolutional neural networks (DCNN) aided high dynamic range (HDR) imaging recently received a lot of attention. The quality of DCNN generated HDR images have overperformed the traditional counterparts. However, DCNN is prone to be computationally intensive and power-hungry. To address the challenge, we propose LightFuse, a lightweight CNN-based algorithm for extreme dual-exposure image fusion, which can be implemented on various embedded computing platforms with limited power and hardware resources. Two sub-networks are utilized: a GlobalNet (G) and a DetailNet (D). The goal of G is to learn the global information on the spatial dimension, whereas D aims to enhance local details on the channel dimension. Both G and D are based solely on depthwise convolution (D Conv) and pointwise convolution (P Conv) to reduce required parameters and computations. Experimental results display that the proposed technique could generate HDR images with plausible details in extremely exposed regions. Our model outperforms other state-of-the-art approaches in PSNR score by 0.7 to 8.5 while achieving 1.4 to 25.9 times parameter reduction.