arXiv reaDer
適応型赤外線および可視画像の超解像融合のためのディープレチネックス融合
Deep Retinex Fusion for Adaptive Infrared and Visible Image Super-resolution Fusion
畳み込みニューラルネットワークは、画像融合と超解像のための輝かしいツールになりました。ただし、それらの優れたパフォーマンスは、大きな固定ペアのデータセットなしでは機能しません。さらに、これらの要求の厳しいグラウンドトゥルースデータは、融合タスクでは常に簡単に取得できるとは限りません。この研究では、生成ネットワークの構造が大量の画像特徴の事前分布をキャプチャし、これらの事前分布は、低解像度の入力のみを使用して高品質の融合超解像結果を再構築するのに十分であることを示します。このように、我々は、Deep Retinex Fusion(DRF)と呼ばれる、適応型赤外線(IR)および可視(VIS)画像の超解像融合のための新しい自己監視データセットフリーの方法を提案します。 DRFの重要なアイデアは、最初に、設計された生成ネットワークZipperNet、LightingNet、AdjustingNetを使用して物理モデルから解きほぐされたコンポーネントの事前分布を生成し、次にRetinex理論に基づく適応融合損失関数を介してネットワークによってキャプチャされたこれらの事前分布を組み合わせ、最後に超解像を再構築することです。 -解像度融合の結果。さらに、報告されたDRFの有効性を検証するために、他の最先端の方法との比較による定性的および定量的実験の両方が、さまざまなテストセットを使用して実行されます。これらの結果は、大規模なデータセットでトレーニングされた方法と比較して、データセットなしで機能するDRFが最高の超解像融合性能を達成することを証明しています。さらに重要なことに、DRFはIR情報とVIS情報のバランスを適応的にとることができ、優れたノイズ耐性を備えています。 DRFコードは、https://github.com/GuYuanjie/Deep-Retinex-fusionで入手できるオープンソースです。
Convolutional neural networks have turned into an illustrious tool for image fusion and super-resolution. However, their excellent performance cannot work without large fixed-paired datasets; and additionally, these high-demanded ground truth data always cannot be obtained easily in fusion tasks. In this study, we show that, the structures of generative networks capture a great deal of image feature priors, and then these priors are sufficient to reconstruct high-quality fused super-resolution result using only low-resolution inputs. By this way, we propose a novel self-supervised dataset-free method for adaptive infrared (IR) and visible (VIS) image super-resolution fusion named Deep Retinex Fusion (DRF). The key idea of DRF is first generating component priors which are disentangled from physical model using our designed generative networks ZipperNet, LightingNet and AdjustingNet, then combining these priors which captured by networks via adaptive fusion loss functions based on Retinex theory, and finally reconstructing the super-resolution fusion results. Furthermore, in order to verify the effectiveness of our reported DRF, both qualitative and quantitative experiments via comparing with other state-of-the-art methods are performed using different test sets. These results prove that, comparing with large datasets trained methods, DRF which works without any dataset achieves the best super-resolution fusion performance; and more importantly, DRF can adaptively balance IR and VIS information and has good noise immunity. DRF codes are open source available at https://github.com/GuYuanjie/Deep-Retinex-fusion.
updated: Sun May 29 2022 06:31:15 GMT+0000 (UTC)
published: Mon Dec 06 2021 08:50:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト