RGB-NIR 融合は、低照度イメージングの有望な方法です。ただし、低照度画像の高強度ノイズは、既存のアルゴリズムに失敗する RGB-NIR 画像間の構造の不一致の影響を増幅します。これを処理するために、Deep Structure と Deep Inconsistency Prior (DIP) という 2 つの技術的新規性を持つ、Dark Vision Net (DVN) と呼ばれる新しい RGB-NIR 融合アルゴリズムを提案します。ディープ ストラクチャは、ノイズの多い入力に対してよりロバストな生の入力空間ではなく、ディープ マルチスケール フィーチャ空間で明確な構造の詳細を抽出します。 RGB ドメインと NIR ドメインの両方の深い構造に基づいて、DIP を導入し、構造の不一致を利用して RGB-NIR の融合を導きます。この恩恵を受けて、提案された DVN は、視覚的なアーティファクトのない高品質の低照度画像を取得します。また、最初のパブリック RGBNIR 融合ベンチマークとして、アライメントされた RGB-NIR 画像ペアで構成される、Dark Vision Dataset (DVD) と呼ばれる新しいデータセットを提案します。提案されたベンチマークの定量的および定性的な結果は、DVN が PSNR および SSIM の他の比較アルゴリズムよりも大幅に優れていることを示しています。
RGB-NIR fusion is a promising method for low-light imaging. However, high-intensity noise in low-light images amplifies the effect of structure inconsistency between RGB-NIR images, which fails existing algorithms. To handle this, we propose a new RGB-NIR fusion algorithm called Dark Vision Net (DVN) with two technical novelties: Deep Structure and Deep Inconsistency Prior (DIP). The Deep Structure extracts clear structure details in deep multiscale feature space rather than raw input space, which is more robust to noisy inputs. Based on the deep structures from both RGB and NIR domains, we introduce the DIP to leverage the structure inconsistency to guide the fusion of RGB-NIR. Benefiting from this, the proposed DVN obtains high-quality lowlight images without the visual artifacts. We also propose a new dataset called Dark Vision Dataset (DVD), consisting of aligned RGB-NIR image pairs, as the first public RGBNIR fusion benchmark. Quantitative and qualitative results on the proposed benchmark show that DVN significantly outperforms other comparison algorithms in PSNR and SSIM, especially in extremely low light conditions.