リモートセンシングでは、各センサーが補足情報または強化情報を提供できます。全体的なパフォーマンスを向上させるには、複数のセンサーからの出力を融合することが重要です。以前の教師付き融合法では、多くの場合、トレーニングデータの各ピクセルに正確なラベルが必要です。ただし、多くのリモートセンシングアプリケーションでは、ピクセルレベルのラベルを取得することは困難または実行不可能です。さらに、複数のセンサーからの出力は、しばしば異なる解像度またはモダリティを持ちます。たとえば、ラスター化されたハイパースペクトル画像はピクセルグリッドでデータを表示し、空中光検出および測距(LiDAR)は密な3次元(3D)点群を生成します。このようなマルチモーダル、マルチ解像度のデータを直接融合することはしばしば困難です。これらの課題に対処するために、自動生成された不正確にラベル付けされたデータから学習しながら、マルチ解像度とマルチモーダルセンサー出力を融合できる新しいマルチインスタンスマルチ解像度フュージョン(MIMRF)フレームワークを紹介します。 MUUFLガルフポートハイパースペクトルおよびLiDARデータセット、およびリモートセンシングの大豆と雑草のデータセットで実験が行われました。結果は、従来の融合方法と比較した場合、シーンの理解と農業への応用において改善された一貫したパフォーマンスを示しています。
In remote sensing, each sensor can provide complementary or reinforcing information. It is valuable to fuse outputs from multiple sensors to boost overall performance. Previous supervised fusion methods often require accurate labels for each pixel in the training data. However, in many remote sensing applications, pixel-level labels are difficult or infeasible to obtain. In addition, outputs from multiple sensors often have different resolution or modalities. For example, rasterized hyperspectral imagery presents data in a pixel grid while airborne Light Detection and Ranging (LiDAR) generates dense three-dimensional (3D) point clouds. It is often difficult to directly fuse such multi-modal, multi-resolution data. To address these challenges, we present a novel Multiple Instance Multi-Resolution Fusion (MIMRF) framework that can fuse multi-resolution and multi-modal sensor outputs while learning from automatically-generated, imprecisely-labeled data. Experiments were conducted on the MUUFL Gulfport hyperspectral and LiDAR data set and a remotely-sensed soybean and weed data set. Results show improved, consistent performance on scene understanding and agricultural applications when compared to traditional fusion methods.