この論文は、低空間分解能のHSIと高空間分解能のマルチスペクトル画像を融合して高空間分解能のHSI(HR-HSI)を形成することを目的としたハイパースペクトル画像(HSI)の超解像に焦点を当てています。多数のラベル付きトレーニングサンプルに依存する既存の深層学習ベースのアプローチは、ほとんどが監視されていますが、これは非現実的です。一般的に使用されるモデルベースのアプローチは、教師なしで柔軟性がありますが、手作りの事前情報に依存しています。モデルの特定のプロパティに触発されて、教師なしの方法でHSI超解像のためのモデルに触発されたディープネットワークを設計する最初の試みを行います。このアプローチは、各ピクセルを個別のサンプルとして扱うターゲットHR-HSI上に構築された暗黙のオートエンコーダネットワークで構成されています。ターゲットHR-HSIの非負行列因子分解(NMF)は、オートエンコーダネットワークに統合されています。オートエンコーダネットワークでは、スペクトル行列と空間行列の2つのNMF部分が、それぞれデコーダパラメータと非表示出力として扱われます。エンコード段階では、ピクセル単位の融合モデルを提示して隠れた出力を直接推定し、モデルのアルゴリズムを再定式化して展開し、エンコーダネットワークを形成します。特定のアーキテクチャでは、提案されたネットワークは多様な事前ベースのモデルに似ており、画像全体ではなくパッチごとにトレーニングできます。さらに、点像分布関数とスペクトル応答関数を推定するために、追加の教師なしネットワークを提案します。合成データセットと実際のデータセットの両方で実施された実験結果は、提案されたアプローチの有効性を示しています。
This paper focuses on hyperspectral image (HSI) super-resolution that aims to fuse a low-spatial-resolution HSI and a high-spatial-resolution multispectral image to form a high-spatial-resolution HSI (HR-HSI). Existing deep learning-based approaches are mostly supervised that rely on a large number of labeled training samples, which is unrealistic. The commonly used model-based approaches are unsupervised and flexible but rely on hand-craft priors. Inspired by the specific properties of model, we make the first attempt to design a model inspired deep network for HSI super-resolution in an unsupervised manner. This approach consists of an implicit autoencoder network built on the target HR-HSI that treats each pixel as an individual sample. The nonnegative matrix factorization (NMF) of the target HR-HSI is integrated into the autoencoder network, where the two NMF parts, spectral and spatial matrices, are treated as decoder parameters and hidden outputs respectively. In the encoding stage, we present a pixel-wise fusion model to estimate hidden outputs directly, and then reformulate and unfold the model's algorithm to form the encoder network. With the specific architecture, the proposed network is similar to a manifold prior-based model, and can be trained patch by patch rather than the entire image. Moreover, we propose an additional unsupervised network to estimate the point spread function and spectral response function. Experimental results conducted on both synthetic and real datasets demonstrate the effectiveness of the proposed approach.