arXiv reaDer
ハイパースペクトル画像超解像のための陰的神経表現学習
Implicit Neural Representation Learning for Hyperspectral Image Super-Resolution
追加の補助画像なしのハイパースペクトル画像(HSI)の超解像は、効果的な空間およびスペクトル表現の学習が基本的な問題である高次元のスペクトルパターンのため、常に課題となっています。最近、Implicit Neural Representations(INR)は、特に再構築タスクにおいて、斬新で効果的な表現として進歩を遂げています。したがって、この作業では、空間座標を対応するスペクトル放射輝度値にマッピングする連続関数によってHSIを表すINRに基づく新しいHSI再構成モデルを提案します。特に、INRの特定の実装として、パラメトリックモデルのパラメーターは、畳み込みネットワークを使用した特徴抽出で動作するハイパーネットワークによって予測されます。これにより、連続関数は、コンテンツを意識した方法で空間座標をピクセル値にマップします。さらに、周期的な空間エンコーディングは再構成手順と深く統合されているため、モデルはより高い周波数の詳細を復元できます。モデルの有効性を検証するために、3つのHSIデータセット(CAVE、NUS、およびNTIRE2018)で実験を行います。実験結果は、提案されたモデルが最先端の方法と比較して競争力のある再構成性能を達成できることを示しています。さらに、モデルの個々のコンポーネントの影響に関するアブレーション研究を提供します。この論文が将来の研究のための強力な参考資料として役立つことを願っています。
Hyperspectral image (HSI) super-resolution without additional auxiliary image remains a constant challenge due to its high-dimensional spectral patterns, where learning an effective spatial and spectral representation is a fundamental issue. Recently, Implicit Neural Representations (INRs) are making strides as a novel and effective representation, especially in the reconstruction task. Therefore, in this work, we propose a novel HSI reconstruction model based on INR which represents HSI by a continuous function mapping a spatial coordinate to its corresponding spectral radiance values. In particular, as a specific implementation of INR, the parameters of parametric model are predicted by a hypernetwork that operates on feature extraction using convolution network. It makes the continuous functions map the spatial coordinates to pixel values in a content-aware manner. Moreover, periodic spatial encoding are deeply integrated with the reconstruction procedure, which makes our model capable of recovering more high frequency details. To verify the efficacy of our model, we conduct experiments on three HSI datasets (CAVE, NUS, and NTIRE2018). Experimental results show that the proposed model can achieve competitive reconstruction performance in comparison with the state-of-the-art methods. In addition, we provide an ablation study on the effect of individual components of our model. We hope this paper could server as a potent reference for future research.
updated: Mon Dec 20 2021 14:07:54 GMT+0000 (UTC)
published: Mon Dec 20 2021 14:07:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト