効果的なスペクトル空間特徴を学習することは、ハイパースペクトル画像 (HSI) 分類タスクにとって重要ですが、既存の HSI 分類手法の大部分は、複雑なスペクトル空間関係をモデル化し、低レベルの詳細と高レベルのセマンティクスを包括的に特徴付けることに依然として課題を抱えています。記録破りの生成モデルの新しいクラスである拡散モデルは、入力を理解するための複雑な関係をモデル化し、高レベルと低レベルの両方の視覚的特徴を学習することができます。一方、拡散モデルは、タイムステップ t の追加の固有の次元を利用することで、より豊富な特徴を捉えることができます。これらを考慮して、我々は Diff-HSI と呼ばれる、HSI 分類用の拡散モデルに基づく教師なしスペクトル空間特徴学習フレームワークを初めて提案します。具体的には、まず教師なし特徴学習用にラベルなしの HSI パッチを使用して拡散モデルを事前トレーニングし、次に分類のためにさまざまなタイムステップからの中間階層特徴を利用します。豊富なタイムステップごとの特徴をより適切に使用するために、タイムステップごとの特徴バンクと動的特徴融合モジュールを設計して、タイムステップごとの特徴を構築し、有益なマルチタイムステップ表現を適応的に学習します。最後に、線形分類器のアンサンブルを適用して HSI 分類を実行します。 3 つの公開 HSI データセットに対して広範な実験が行われ、その結果、Diff-HSI が最先端の教師ありおよび教師なしの HSI 分類手法よりも優れていることが実証されました。
Learning effective spectral-spatial features is important for the hyperspectral image (HSI) classification task, but the majority of existing HSI classification methods still suffer from modeling complex spectral-spatial relations and characterizing low-level details and high-level semantics comprehensively. As a new class of record-breaking generative models, diffusion models are capable of modeling complex relations for understanding inputs well as learning both high-level and low-level visual features. Meanwhile, diffusion models can capture more abundant features by taking advantage of the extra and unique dimension of timestep t. In view of these, we propose an unsupervised spectral-spatial feature learning framework based on the diffusion model for HSI classification for the first time, named Diff-HSI. Specifically, we first pretrain the diffusion model with unlabeled HSI patches for unsupervised feature learning, and then exploit intermediate hierarchical features from different timesteps for classification. For better using the abundant timestep-wise features, we design a timestep-wise feature bank and a dynamic feature fusion module to construct timestep-wise features, adaptively learning informative multi-timestep representations. Finally, an ensemble of linear classifiers is applied to perform HSI classification. Extensive experiments are conducted on three public HSI datasets, and our results demonstrate that Diff-HSI outperforms state-of-the-art supervised and unsupervised methods for HSI classification.