ディープラーニング技術は、リモートセンシングの分野にますます影響を与えています。ただし、特に合成の場合、高解像度の多様なシーンで完全に位置合わせされたマルチセンサー画像データが大量に利用できないため、異種特性を持つさまざまなリモートセンサーからのマルチモーダルデータの融合に基づくディープニューラルネットワークは十分に検討されていません。開口レーダー(SAR)データと光学画像。深層学習ベースのSAR-光学融合アプローチの開発を促進するために、20,000ペアのSAR-光学画像パッチを含むQXS-SAROPTデータセットをリリースします。 SAR衛星GaoFen-3画像からSARパッチを取得し、GoogleEarth画像から光学パッチを取得します。これらの画像は、サンディエゴ、上海、青島の3つの港湾都市をカバーしています。ここでは、データセットの構築の詳細な紹介を提示し、その2つの代表的な例示的なアプリケーション、すなわち、光学画像からのクロスモーダル情報によってブーストされたSAR光学画像マッチングとSAR船検出を示します。高解像度の複数のシーンを備えた大規模なオープンSAR光学データセットとして、QXS-SAROPTは、ディープラーニングに基づくSAR光学データ融合技術のさらなる研究にとって潜在的な価値があると考えています。
Deep learning techniques have made an increasing impact on the field of remote sensing. However, deep neural networks based fusion of multimodal data from different remote sensors with heterogenous characteristics has not been fully explored, due to the lack of availability of big amounts of perfectly aligned multi-sensor image data with diverse scenes of high resolutions, especially for synthetic aperture radar (SAR) data and optical imagery. To promote the development of deep learning based SAR-optical fusion approaches, we release the QXS-SAROPT dataset, which contains 20,000 pairs of SAR-optical image patches. We obtain the SAR patches from SAR satellite GaoFen-3 images and the optical patches from Google Earth images. These images cover three port cities: San Diego, Shanghai and Qingdao. Here, we present a detailed introduction of the construction of the dataset, and show its two representative exemplary applications, namely SAR-optical image matching and SAR ship detection boosted by cross-modal information from optical images. As a large open SAR-optical dataset with multiple scenes of a high resolution, we believe QXS-SAROPT will be of potential value for further research in SAR-optical data fusion technology based on deep learning.