リモートセンシングの分野が進化するにつれて、マルチスペクトル(MS)、ハイパースペクトル(HSI)、LiDARなどのいくつかのモダリティからの情報の蓄積を目の当たりにします。これらのモダリティはそれぞれ独自の特徴を持っており、相乗的に組み合わせると非常に優れたパフォーマンスを発揮します。認識と分類のタスクでうまくいきます。ただし、リモートセンシングで複数のモダリティを融合することは、ドメインが非常に異なるため、面倒です。さらに、既存の方法は、クロスモーダル相互作用を促進しません。この目的のために、HSIおよびLiDARモダリティ用の新しいトランスベースの融合方法を提案します。このモデルは、HSIとLiDARのクロスキーと値のペアを利用するスタックオートエンコーダーで構成されているため、2つのモダリティ間の通信を確立すると同時に、CNNを使用してHSIとLiDARからスペクトル情報と空間情報を抽出します。ヒューストン(データフュージョンコンテスト-2013)とMUUFLガルフポートデータセットでモデルをテストし、競争力のある結果を達成します。
As the field of remote sensing is evolving, we witness the accumulation of information from several modalities, such as multispectral (MS), hyperspectral (HSI), LiDAR etc. Each of these modalities possess its own distinct characteristics and when combined synergistically, perform very well in the recognition and classification tasks. However, fusing multiple modalities in remote sensing is cumbersome due to highly disparate domains. Furthermore, the existing methods do not facilitate cross-modal interactions. To this end, we propose a novel transformer based fusion method for HSI and LiDAR modalities. The model is composed of stacked auto encoders that harness the cross key-value pairs for HSI and LiDAR, thus establishing a communication between the two modalities, while simultaneously using the CNNs to extract the spectral and spatial information from HSI and LiDAR. We test our model on Houston (Data Fusion Contest - 2013) and MUUFL Gulfport datasets and achieve competitive results.