この作品は、ハイパースペクトル画像(HSI)超解像(SR)を研究します。 HSI SRは、高次元のデータと限られた量のトレーニング例が特徴です。これは、記憶や分布外のサンプルに対する感度など、ニューラルネットワークの望ましくない動作を悪化させます。この作業は、3つの貢献でこれらの問題に対処します。まず、効果的な仮想トレーニングサンプルを構築するために、SpectralMixupと呼ばれるシンプルで効果的なデータ拡張ルーチンを提案します。次に、HSI SRとRGB画像SRが相関していることを確認し、補助タスクRGB画像SRが追加の監視を提供できるように、それらを共同でトレーニングする新しいマルチタスクネットワークを開発します。最後に、ネットワークを半教師あり設定に拡張して、低解像度のHSIのみを含むデータセットから学習できるようにします。これらの貢献により、私たちの方法は異種のデータセットから学習し、大量のHDHSIトレーニングサンプルを持つ必要性を取り除くことができます。 4つのデータセットでの広範な実験は、私たちの方法が既存の方法を大幅に上回り、私たちの貢献の関連性を支えていることを示しています。この作品のコードはまもなくリリースされます。
This work studies Hyperspectral image (HSI) super-resolution (SR). HSI SR is characterized by high-dimensional data and a limited amount of training examples. This exacerbates the undesirable behaviors of neural networks such as memorization and sensitivity to out-of-distribution samples. This work addresses these issues with three contributions. First, we propose a simple, yet effective data augmentation routine, termed Spectral Mixup, to construct effective virtual training samples. Second, we observe that HSI SR and RGB image SR are correlated and develop a novel multi-tasking network to train them jointly so that the auxiliary task RGB image SR can provide additional supervision. Finally, we extend the network to a semi-supervised setting so that it can learn from datasets containing low-resolution HSIs only. With these contributions, our method is able to learn from heterogeneous datasets and lift the requirement for having a large amount of HD HSI training samples. Extensive experiments on four datasets show that our method outperforms existing methods significantly and underpin the relevance of our contributions. The code of this work will be released soon.