異種データ間の補完的な情報を活用するために、光検出および測距 (LiDAR) などの別のデータ ソースを伴うハイパースペクトル画像 (HSI) を使用したリモート センシング (RS) 画像分類用の新しいマルチモーダル トランスフォーマー (MMFormer) を導入します。畳み込みの誘導バイアスを欠く従来のビジョン トランスフォーマー (ViT) と比較して、最初に畳み込みレイヤーを MMFormer に導入して、HSI と LiDAR のマルチモーダル データからパッチをトークン化します。次に、高いスペクトル分解能を持つ HSI と比較的低い空間分解能を持つ LiDAR を融合することに制限されることが多い互換性の問題に対処するために、マルチスケール マルチヘッド セルフ アテンション (MSMHSA) モジュールを提案します。提案された MSMHSA モジュールは、HSI を LiDAR データに粗から細かい方法で組み込むことができるため、きめ細かい表現を学習できます。広く使用されているベンチマーク (Trento や MUUFL など) での広範な実験により、RS 画像分類に対する提案された MMFormer の有効性と優位性が実証されています。
To benefit the complementary information between heterogeneous data, we introduce a new Multimodal Transformer (MMFormer) for Remote Sensing (RS) image classification using Hyperspectral Image (HSI) accompanied by another source of data such as Light Detection and Ranging (LiDAR). Compared with traditional Vision Transformer (ViT) lacking inductive biases of convolutions, we first introduce convolutional layers to our MMFormer to tokenize patches from multimodal data of HSI and LiDAR. Then we propose a Multi-scale Multi-head Self-Attention (MSMHSA) module to address the problem of compatibility which often limits to fuse HSI with high spectral resolution and LiDAR with relatively low spatial resolution. The proposed MSMHSA module can incorporate HSI to LiDAR data in a coarse-to-fine manner enabling us to learn a fine-grained representation. Ex- tensive experiments on widely used benchmarks (e.g., Trento and MUUFL) demonstrate the effectiveness and superiority of our proposed MMFormer for RS image classification.