arXiv reaDer
ハイパースペクトル画像再構成のための粗いスパーストランスフォーマー
Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction
符号化開口スナップショットスペクトルイメージング(CASSI)の逆問題を解決するために、つまり2D圧縮測定から3Dハイパースペクトル画像(HSI)を復元するために、多くのアルゴリズムが開発されています。近年、学習ベースの方法は有望なパフォーマンスを示し、主流の研究の方向性を支配してきました。ただし、既存のCNNベースの方法では、長距離の依存関係と非局所的な自己相似性をキャプチャする際に制限があります。以前のTransformerベースのメソッドは、トークンを密にサンプリングします。トークンの中には情報がないものもあり、コンテンツに関係のないトークン間のマルチヘッド自己注意(MSA)を計算します。これは、HSI信号の空間的にまばらな性質に適合せず、モデルのスケーラビリティを制限します。この論文では、HSI再構成のための深層学習に最初にHSIスパース性を組み込む、新しいTransformerベースの方法である粗いから細かいスパーストランスフォーマー(CST)を提案します。特に、CSTは、粗いパッチの選択に、提案されたスペクトル認識スクリーニングメカニズム(SASM)を使用します。次に、選択したパッチがカスタマイズされたスペクトル集約ハッシュマルチヘッド自己注意(SAH-MSA)に送られ、細かいピクセルクラスタリングと自己相似性のキャプチャが行われます。包括的な実験により、CSTは最先端の方法を大幅に上回り、より安価な計算コストが必要であることが示されています。コードとモデルはhttps://github.com/caiyuanhao1998/MSTでリリースされます
Many algorithms have been developed to solve the inverse problem of coded aperture snapshot spectral imaging (CASSI), i.e., recovering the 3D hyperspectral images (HSIs) from a 2D compressive measurement. In recent years, learning-based methods have demonstrated promising performance and dominated the mainstream research direction. However, existing CNN-based methods show limitations in capturing long-range dependencies and non-local self-similarity. Previous Transformer-based methods densely sample tokens, some of which are uninformative, and calculate the multi-head self-attention (MSA) between some tokens that are unrelated in content. This does not fit the spatially sparse nature of HSI signals and limits the model scalability. In this paper, we propose a novel Transformer-based method, coarse-to-fine sparse Transformer (CST), firstly embedding HSI sparsity into deep learning for HSI reconstruction. In particular, CST uses our proposed spectra-aware screening mechanism (SASM) for coarse patch selecting. Then the selected patches are fed into our customized spectra-aggregation hashing multi-head self-attention (SAH-MSA) for fine pixel clustering and self-similarity capturing. Comprehensive experiments show that our CST significantly outperforms state-of-the-art methods while requiring cheaper computational costs. The code and models will be released at https://github.com/caiyuanhao1998/MST
updated: Mon Jul 11 2022 02:42:31 GMT+0000 (UTC)
published: Wed Mar 09 2022 16:17:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト