陸上リモートセンシング分析は、地球科学における重要な研究です。この作業では、土地分析の難しいタスク、つまりリモートセンシングデータからの交通道路の自動抽出に焦点を当てます。これは、都市開発と拡張推定に広く適用されています。それにもかかわらず、従来の方法は、航空画像の限られた情報のみを利用するか、または単に融合されたマルチモーダル情報(例えば、車両の軌道)のいずれかであり、したがって、制約のない道路を十分に認識できない。この問題を容易にするために、クロスモーダルメッセージ伝搬ネットワーク(CMMPNet)と呼ばれる新しいニューラルネットワークフレームワークを導入します。これは、補完的なさまざまなモーダルデータ(つまり、航空画像とクラウドソーシングされた軌道)に完全に役立ちます。具体的には、CMMPNetは、モダリティ固有の表現学習用の2つのディープオートエンコーダーと、クロスモーダル表現の改良用にカスタマイズされたデュアルエンハンスメントモジュールで構成されています。特に、各モダリティの補足情報が包括的に抽出され、動的に伝播されて、別のモダリティの表現が強化されます。 3つの実際のベンチマークでの広範な実験により、画像と軌道データ、または画像とLidarデータのいずれかを使用して、さまざまなモーダルデータをブレンドすることで、堅牢な道路抽出に対するCMMPNetの有効性が実証されています。実験結果から、提案されたアプローチは、現在の最先端の方法を大幅に上回っていることを観察します。
Land remote sensing analysis is a crucial research in earth science. In this work, we focus on a challenging task of land analysis, i.e., automatic extraction of traffic roads from remote sensing data, which has widespread applications in urban development and expansion estimation. Nevertheless, conventional methods either only utilized the limited information of aerial images, or simply fused multimodal information (e.g., vehicle trajectories), thus cannot well recognize unconstrained roads. To facilitate this problem, we introduce a novel neural network framework termed Cross-Modal Message Propagation Network (CMMPNet), which fully benefits the complementary different modal data (i.e., aerial images and crowdsourced trajectories). Specifically, CMMPNet is composed of two deep Auto-Encoders for modality-specific representation learning and a tailor-designed Dual Enhancement Module for cross-modal representation refinement. In particular, the complementary information of each modality is comprehensively extracted and dynamically propagated to enhance the representation of another modality. Extensive experiments on three real-world benchmarks demonstrate the effectiveness of our CMMPNet for robust road extraction benefiting from blending different modal data, either using image and trajectory data or image and Lidar data. From the experimental results, we observe that the proposed approach outperforms current state-of-the-art methods by large margins.