arXiv reaDer
ハイパースペクトル画像の超解像のための3D-CNNとトランスフォーマーの事前学習
Learning A 3D-CNN and Transformer Prior for Hyperspectral Image Super-Resolution
ハイパースペクトル画像超解像(HSISR)の不適切な問題を解決するために、通常の方法は、目的関数を制約するための正則化項としてハイパースペクトル画像(HSI)の事前情報を使用することです。手作りの事前情報を使用するモデルベースの方法では、HSIのプロパティを完全に特徴付けることはできません。学習ベースの方法では、通常、畳み込みニューラルネットワーク(CNN)を使用して、HSIの暗黙の事前分布を学習します。ただし、CNNの学習能力は限られており、HSIの空間特性のみを考慮し、スペクトル特性を無視します。畳み込みは、長距離依存性モデリングには効果的ではありません。まだまだ改善の余地があります。この論文では、CNNの代わりにTransformerを使用してHSIの事前学習を行う新しいHSISRメソッドを提案します。具体的には、最初に近接勾配アルゴリズムを使用してHSISRモデルを解き、次に展開ネットワークを使用して反復解法プロセスをシミュレートします。 Transformerの自己注意レイヤーにより、空間的なグローバルな相互作用が可能になります。さらに、Transformerレイヤーの後ろに3D-CNNを追加して、HSIの空間スペクトル相関をよりよく調査します。 2つの広く使用されているHSIデータセットと実際のデータセットの定量的および視覚的な結果は、提案された方法が、最も競争力のある従来の方法や最近提案された深層学習ベースの方法を含むすべての主流アルゴリズムと比較してかなりの利益を達成することを示しています。
To solve the ill-posed problem of hyperspectral image super-resolution (HSISR), an usually method is to use the prior information of the hyperspectral images (HSIs) as a regularization term to constrain the objective function. Model-based methods using hand-crafted priors cannot fully characterize the properties of HSIs. Learning-based methods usually use a convolutional neural network (CNN) to learn the implicit priors of HSIs. However, the learning ability of CNN is limited, it only considers the spatial characteristics of the HSIs and ignores the spectral characteristics, and convolution is not effective for long-range dependency modeling. There is still a lot of room for improvement. In this paper, we propose a novel HSISR method that uses Transformer instead of CNN to learn the prior of HSIs. Specifically, we first use the proximal gradient algorithm to solve the HSISR model, and then use an unfolding network to simulate the iterative solution processes. The self-attention layer of Transformer makes it have the ability of spatial global interaction. In addition, we add 3D-CNN behind the Transformer layers to better explore the spatio-spectral correlation of HSIs. Both quantitative and visual results on two widely used HSI datasets and the real-world dataset demonstrate that the proposed method achieves a considerable gain compared to all the mainstream algorithms including the most competitive conventional methods and the recently proposed deep learning-based methods.
updated: Sat Nov 27 2021 15:38:57 GMT+0000 (UTC)
published: Sat Nov 27 2021 15:38:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト