ディープラーニング技術は、リモートセンシングの分野にますます影響を与えています。ただし、特に合成の場合、高解像度の多様なシーンで完全に位置合わせされたマルチセンサー画像データが大量に利用できないため、異種特性を持つさまざまなリモートセンサーからのマルチモーダルデータの融合に基づくディープニューラルネットワークは十分に検討されていません。開口レーダー(SAR)データと光学画像。この論文では、SAR-光学データ融合における深層学習研究を促進するために、QXS-SAROPTデータセットを公開します。 QXS-SAROPTは、SAR衛星GaoFen-3とGoogle Earthの光学衛星によって取得された、サンディエゴ、上海、青島の3つの港湾都市から収集された20,000ペアの対応する画像パッチで構成されています。データセットの詳細な説明に加えて、2つの代表的なアプリケーション、つまり、光学画像からのクロスモーダル情報によってブーストされたSAR光学画像マッチングとSAR船検出の例示的な結果を示します。 QXS-SAROPTは、この種の最高解像度の複数のシーンを備えた大規模なオープンデータセットであるため、リモートセンシング用の深層学習ベースのSAR-光学データ融合の分野でのさらなる開発をサポートすると考えています。
Deep learning techniques have made an increasing impact on the field of remote sensing. However, deep neural networks based fusion of multimodal data from different remote sensors with heterogenous characteristics has not been fully explored, due to the lack of availability of big amounts of perfectly aligned multi-sensor image data with diverse scenes of high resolution, especially for synthetic aperture radar (SAR) data and optical imagery. In this paper, we publish the QXS-SAROPT dataset to foster deep learning research in SAR-optical data fusion. QXS-SAROPT comprises 20,000 pairs of corresponding image patches, collected from three port cities: San Diego, Shanghai and Qingdao acquired by the SAR satellite GaoFen-3 and optical satellites of Google Earth. Besides a detailed description of the dataset, we show exemplary results for two representative applications, namely SAR-optical image matching and SAR ship detection boosted by cross-modal information from optical images. Since QXS-SAROPT is a large open dataset with multiple scenes of the highest resolution of this kind, we believe it will support further developments in the field of deep learning based SAR-optical data fusion for remote sensing.