arXiv reaDer
分離結合ネットワーク:サブピクセル融合による自己監視ハイパースペクトル画像超解像
Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image Super-Resolution with Subpixel Fusion
最近、高空間分解能マルチスペクトル(MS)画像を使用して、ハイパースペクトル(HS)画像を超解像するために多大な努力が払われています。ほとんどの以前の作品は、通常、多種多様なピクセルレベルの事前情報によって融合タスクを実行します。しかし、空間分解能とスペクトル分解能の違いによるHS-MSデータ間の大きな分布ギャップの本質的な影響はあまり調査されていません。ギャップは、未知のセンサー固有のプロパティまたは1ピクセル内の高度に混合されたスペクトル情報(空間分解能が低いため)が原因である可能性があります。この目的のために、DC-Netと呼ばれる新しい分離および結合ネットワークを考案することにより、サブピクセルレベルのHS超解像フレームワークを提案し、画像からピクセルレベルからサブピクセルレベルまでHS-MS情報を段階的に融合します。 -機能レベルへ。名前が示すように、DC-Netは最初に入力を共通(またはクロスセンサー)およびセンサー固有のコンポーネントに分離して、さらに融合する前にHS-MS画像間のギャップを排除し、次にモデルガイド結合スペクトルによってそれらを完全にブレンドしますアンミキシング(CSU)ネット。さらに重要なことに、復元されたHS製品の詳細な外観を強化するために材料の一貫性を保証することにより、CSUネットの背後に自己監視学習モジュールを追加します。広範な実験結果は、視覚的にも定量的にも私たちの方法の優位性を示しており、最先端技術と比較して大幅な改善を達成しています。さらに、コードとデータセットは、再現性のためにhttps://sites.google.com/view/danfeng-hongで入手できます。
Enormous efforts have been recently made to super-resolve hyperspectral (HS) images with the aid of high spatial resolution multispectral (MS) images. Most prior works usually perform the fusion task by means of multifarious pixel-level priors. Yet the intrinsic effects of a large distribution gap between HS-MS data due to differences in the spatial and spectral resolution are less investigated. The gap might be caused by unknown sensor-specific properties or highly-mixed spectral information within one pixel (due to low spatial resolution). To this end, we propose a subpixel-level HS super-resolution framework by devising a novel decoupled-and-coupled network, called DC-Net, to progressively fuse HS-MS information from the pixel- to subpixel-level, from the image- to feature-level. As the name suggests, DC-Net first decouples the input into common (or cross-sensor) and sensor-specific components to eliminate the gap between HS-MS images before further fusion, and then fully blends them by a model-guided coupled spectral unmixing (CSU) net. More significantly, we append a self-supervised learning module behind the CSU net by guaranteeing the material consistency to enhance the detailed appearances of the restored HS product. Extensive experimental results show the superiority of our method both visually and quantitatively and achieve a significant improvement in comparison with the state-of-the-arts. Furthermore, the codes and datasets will be available at https://sites.google.com/view/danfeng-hong for the sake of reproducibility.
updated: Sat May 07 2022 23:40:36 GMT+0000 (UTC)
published: Sat May 07 2022 23:40:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト