arXiv reaDer
適応型赤外線および可視画像融合のための物理駆動型ディープ レティネックス融合
Physics Driven Deep Retinex Fusion for Adaptive Infrared and Visible Image Fusion
畳み込みニューラル ネットワークは、画像融合と超解像のための輝かしいツールになりました。ただし、それらの優れたパフォーマンスは、大規模な固定ペア データセットなしでは機能しません。さらに、これらの需要の高いグラウンド トゥルース データは、融合タスクでは常に簡単に取得できません。この研究では、生成ネットワークの構造が大量の画像特徴の事前分布をキャプチャし、これらの事前分布は、低解像度の入力のみを使用して高品質の融合超解像結果を再構築するのに十分であることを示しています。このようにして、Deep Retinex Fusion (DRF) と呼ばれる、適応型赤外線 (IR) および可視 (VIS) 画像の超解像融合のための新しい自己教師ありデータセットを使用しない方法を提案します。 DRF の重要なアイデアは、最初に設計された生成ネットワーク ZipperNet、LightingNet、AdjustingNet を使用して物理モデルから解きほぐされたコンポーネントの事前確率を生成し、次に Retinex 理論に基づく適応型融合損失関数を介してネットワークによってキャプチャされたこれらの事前確率を結合し、最後にスーパーを再構築することです。 -解像度の融合結果。さらに、報告されたDRFの有効性を検証するために、さまざまなテストセットを使用して、他の最先端の方法と比較することによる定性的および定量的実験の両方が実行されます。これらの結果は、大規模なデータセットでトレーニングされた方法と比較して、データセットなしで機能する DRF が最高の超解像度融合パフォーマンスを達成することを証明しています。さらに重要なことに、DRF は IR 情報と VIS 情報のバランスを適応的に調整でき、優れたノイズ耐性を備えています。 DRF コードはオープン ソースで、https://github.com/GuYanjie/Deep-Retinex-fusion で入手できます。
Convolutional neural networks have turned into an illustrious tool for image fusion and super-resolution. However, their excellent performance cannot work without large fixed-paired datasets; and additionally, these high-demanded ground truth data always cannot be obtained easily in fusion tasks. In this study, we show that, the structures of generative networks capture a great deal of image feature priors, and then these priors are sufficient to reconstruct high-quality fused super-resolution result using only low-resolution inputs. By this way, we propose a novel self-supervised dataset-free method for adaptive infrared (IR) and visible (VIS) image super-resolution fusion named Deep Retinex Fusion (DRF). The key idea of DRF is first generating component priors which are disentangled from physical model using our designed generative networks ZipperNet, LightingNet and AdjustingNet, then combining these priors which captured by networks via adaptive fusion loss functions based on Retinex theory, and finally reconstructing the super-resolution fusion results. Furthermore, in order to verify the effectiveness of our reported DRF, both qualitative and quantitative experiments via comparing with other state-of-the-art methods are performed using different test sets. These results prove that, comparing with large datasets trained methods, DRF which works without any dataset achieves the best super-resolution fusion performance; and more importantly, DRF can adaptively balance IR and VIS information and has good noise immunity. DRF codes are open source available at https://github.com/GuYuanjie/Deep-Retinex-fusion.
updated: Tue Mar 21 2023 06:34:09 GMT+0000 (UTC)
published: Mon Dec 06 2021 08:50:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト