arXiv reaDer
ハイブリッド畳み込みに基づくデュアルドメインネットワークによるハイパースペクトル画像超解像
Hyperspectral Image Super-Resolution via Dual-domain Network Based on Hybrid Convolution
入射エネルギーの数は限られているため、空間分解能の高いハイパースペクトル画像 (HSI) を直接取得することは困難です。 HSI の高次元性と相関関係を考慮すると、HSI の超解像 (SR) は、補助的な高解像度画像がない場合の課題のままです。さらに、空間的な特徴を効果的に抽出し、スペクトル情報を最大限に活用することが非常に重要です。この論文では、ハイブリッド畳み込みに基づくデュアルドメインネットワーク (SRDNet) と呼ばれる、新しい HSI 超解像アルゴリズムを提案します。具体的には、デュアル ドメイン ネットワークは、ハイパー スペクトル データ間の空間スペクトルおよび周波数情報を十分に活用するように設計されています。スペクトル間の自己相似性を捉えるために、空間ドメインで自己注意学習メカニズム (HSL) が考案されています。一方、ピラミッド構造は、ネットワークの特徴表現能力をさらに強化する、注意の受容フィールドを増やすために適用されます。さらに、HSI の知覚品質をさらに改善するために、周波数損失 (HFL) を導入して、周波数領域でモデルを最適化します。動的重み付けメカニズムにより、ネットワークは、生成された周波数と、空間損失によって引き起こされる過度の平滑化を徐々に改善します。最後に、高解像度空間と低解像度空間の間のマッピング関係をより完全に取得するために、プログレッシブ アップサンプリング戦略を使用した 2D ユニットと 3D ユニットのハイブリッド モジュールをこの方法で利用します。広く使用されているベンチマーク データセットでの実験は、提案された SRDNet メソッドが HSI のテクスチャ情報を強化し、最先端のメソッドよりも優れていることを示しています。
Since the number of incident energies is limited, it is difficult to directly acquire hyperspectral images (HSI) with high spatial resolution. Considering the high dimensionality and correlation of HSI, super-resolution (SR) of HSI remains a challenge in the absence of auxiliary high-resolution images. Furthermore, it is very important to extract the spatial features effectively and make full use of the spectral information. This paper proposes a novel HSI super-resolution algorithm, termed dual-domain network based on hybrid convolution (SRDNet). Specifically, a dual-domain network is designed to fully exploit the spatial-spectral and frequency information among the hyper-spectral data. To capture inter-spectral self-similarity, a self-attention learning mechanism (HSL) is devised in the spatial domain. Meanwhile the pyramid structure is applied to increase the acceptance field of attention, which further reinforces the feature representation ability of the network. Moreover, to further improve the perceptual quality of HSI, a frequency loss(HFL) is introduced to optimize the model in the frequency domain. The dynamic weighting mechanism drives the network to gradually refine the generated frequency and excessive smoothing caused by spatial loss. Finally, In order to better fully obtain the mapping relationship between high-resolution space and low-resolution space, a hybrid module of 2D and 3D units with progressive upsampling strategy is utilized in our method. Experiments on a widely used benchmark dataset illustrate that the proposed SRDNet method enhances the texture information of HSI and is superior to state-of-the-art methods.
updated: Thu Jun 15 2023 13:59:45 GMT+0000 (UTC)
published: Mon Apr 10 2023 13:51:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト