現実的なハイパースペクトル画像(HSI)超解像(SR)技術は、低解像度(LR)の対応物から、より高いスペクトルおよび空間忠実度を備えた高解像度(HR)HSIを生成することを目的としています。生成的敵対的ネットワーク(GAN)は、画像の超解像のための効果的な深層学習フレームワークであることが証明されています。ただし、既存のGANベースのモデルの最適化プロセスは、モード崩壊の問題に悩まされることが多く、スペクトル空間不変再構成の容量が制限されます。これにより、特に大きなアップスケーリング係数で、生成されたHSIにスペクトル空間歪みが発生する可能性があります。モード崩壊の問題を軽減するために、この作業では、生成されたスペクトル空間特徴を画像空間から潜在空間にマッピングし、結合コンポーネントを生成できる潜在エンコーダ(LE-GAN)と結合された新しいGANモデルを提案しました。生成されたサンプルを正規化します。基本的に、HSIを潜在空間に埋め込まれた高次元多様体として扱います。したがって、GANモデルの最適化は、潜在空間での高解像度HSIサンプルの分布を学習する問題に変換され、生成された超解像HSIの分布を元の高解像度HSIの分布に近づけます。超解像のモデル性能とモード崩壊を緩和する能力について実験的評価を行った。提案されたアプローチは、さまざまなアップスケーリング要因と追加されたノイズレベルについて、異なるセンサー(つまり、AVIRISとUHD-185)を備えた2つの実際のHSIデータセットに基づいてテストおよび検証され、最先端の超解像モデルと比較されています(すなわち、HyCoNet、LTTR、BAGAN、SR-GAN、WGAN)。
Realistic hyperspectral image (HSI) super-resolution (SR) techniques aim to generate a high-resolution (HR) HSI with higher spectral and spatial fidelity from its low-resolution (LR) counterpart. The generative adversarial network (GAN) has proven to be an effective deep learning framework for image super-resolution. However, the optimisation process of existing GAN-based models frequently suffers from the problem of mode collapse, leading to the limited capacity of spectral-spatial invariant reconstruction. This may cause the spectral-spatial distortion on the generated HSI, especially with a large upscaling factor. To alleviate the problem of mode collapse, this work has proposed a novel GAN model coupled with a latent encoder (LE-GAN), which can map the generated spectral-spatial features from the image space to the latent space and produce a coupling component to regularise the generated samples. Essentially, we treat an HSI as a high-dimensional manifold embedded in a latent space. Thus, the optimisation of GAN models is converted to the problem of learning the distributions of high-resolution HSI samples in the latent space, making the distributions of the generated super-resolution HSIs closer to those of their original high-resolution counterparts. We have conducted experimental evaluations on the model performance of super-resolution and its capability in alleviating mode collapse. The proposed approach has been tested and validated based on two real HSI datasets with different sensors (i.e. AVIRIS and UHD-185) for various upscaling factors and added noise levels, and compared with the state-of-the-art super-resolution models (i.e. HyCoNet, LTTR, BAGAN, SR- GAN, WGAN).