arXiv reaDer
Unsupervised and Unregistered Hyperspectral Image Super-Resolution with Mutual Dirichlet-Net
ハイパースペクトル画像(HSI)は、多数のコンピュータービジョンタスクのパフォーマンス向上に貢献した豊富なスペクトル情報を提供します。ただし、これは画像の空間解像度を犠牲にしてのみ達成できます。ハイパースペクトル画像の超解像(HSI-SR)は、低解像度(LR)HSIをはるかに高い空間解像度(HR)を運ぶマルチスペクトル画像(MSI)と融合することにより、この問題に対処します。既存のすべてのHSI-SRアプローチでは、LRHSIとHRMSIを適切に登録する必要があり、HR HSIの再構成精度は、さまざまなモダリティの登録精度に大きく依存しています。このホワイトペーパーでは、マルチモダリティ登録を必要とせずに、HSI-SRの未知の問題領域を活用します。重複領域を持つ未登録のLRHSIとHRMSIを前提として、2つの未登録のモダリティを同じエンコーダーを介して同じ統計空間に投影することにより、それらをリンクする独自の教師なし学習構造を設計します。相互情報量(MI)は、2つのモダリティ(空間情報を運ぶ)からの表現とそれらの生の入力との間の非線形の統計的依存関係をキャプチャするためにさらに採用されます。 MIを最大化することにより、異なるモダリティ間の空間相関を十分に特徴付けて、スペクトルの歪みをさらに減らすことができます。より一般的なl_2ノルムの代わりに、協調的なl_2,1ノルムが再構成エラーとして採用されているため、個々のピクセルを可能な限り正確に復元できます。この設計により、ネットワークは、スペクトル情報をより適切に保存する未登録の画像から相関するスペクトルおよび空間情報を抽出することができます。提案された方法は、未登録および教師なし相互ディリクレネット(u ^ 2-MDN)と呼ばれます。ベンチマークHSIデータセットを使用した広範な実験結果は、最先端と比較してu ^ 2-MDNの優れたパフォーマンスを示しています。
Hyperspectral images (HSI) provide rich spectral information that contributed to the successful performance improvement of numerous computer vision tasks. However, it can only be achieved at the expense of images' spatial resolution. Hyperspectral image super-resolution (HSI-SR) addresses this problem by fusing low resolution (LR) HSI with multispectral image (MSI) carrying much higher spatial resolution (HR). All existing HSI-SR approaches require the LR HSI and HR MSI to be well registered and the reconstruction accuracy of the HR HSI relies heavily on the registration accuracy of different modalities. This paper exploits the uncharted problem domain of HSI-SR without the requirement of multi-modality registration. Given the unregistered LR HSI and HR MSI with overlapped regions, we design a unique unsupervised learning structure linking the two unregistered modalities by projecting them into the same statistical space through the same encoder. The mutual information (MI) is further adopted to capture the non-linear statistical dependencies between the representations from two modalities (carrying spatial information) and their raw inputs. By maximizing the MI, spatial correlations between different modalities can be well characterized to further reduce the spectral distortion. A collaborative l_2,1 norm is employed as the reconstruction error instead of the more common l_2 norm, so that individual pixels can be recovered as accurately as possible. With this design, the network allows to extract correlated spectral and spatial information from unregistered images that better preserves the spectral information. The proposed method is referred to as unregistered and unsupervised mutual Dirichlet Net (u^2-MDN). Extensive experimental results using benchmark HSI datasets demonstrate the superior performance of u^2-MDN as compared to the state-of-the-art.
updated: Mon May 10 2021 10:18:18 GMT+0000 (UTC)
published: Sat Apr 27 2019 16:38:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト