リモートセンシング衛星の急増により、大量のリモートセンシング画像が生まれました。ただし、人的および物的資源の制約により、リモートセンシング画像の大部分はラベル付けされていないままです。その結果、現在利用可能な深層学習手法には適用できません。残りのラベルなし画像を十分に活用するために、リモートセンシング画像(GeoKR)の地理的知識駆動型表現学習方法を提案し、ネットワークパフォーマンスを向上させ、注釈付きデータの需要を減らします。各リモートセンシング画像に関連付けられたグローバルな土地被覆製品と地理的位置は、表現学習とネットワーク事前トレーニングの監視を提供する地理的知識と見なされます。リモートセンシング画像と地理的知識の間のイメージング時間と解像度の違いによって引き起こされる監視ノイズを排除するために、効率的な事前トレーニングフレームワークが提案されています。ネットワークの事前トレーニングをサポートするために、大規模な事前トレーニングデータセットLevir-KRが提案されています。さまざまな解像度の高分シリーズ衛星からの1,431,950枚のリモートセンシング画像が含まれています。実験結果は、提案された方法がImageNetの事前トレーニングおよび自己教師あり表現学習方法よりも優れており、シーン分類、セマンティックセグメンテーション、オブジェクト検出、雲/雪検出などのダウンストリームタスクでのデータ注釈の負担を大幅に軽減することを示しています。これは、提案された方法がニューラルネットワークを事前トレーニングするための新しいパラダイムとして使用できることを示しています。コードはhttps://github.com/flyakon/Geographical-Knowledge-driven-Representaion-Learningで入手できます。
The proliferation of remote sensing satellites has resulted in a massive amount of remote sensing images. However, due to human and material resource constraints, the vast majority of remote sensing images remain unlabeled. As a result, it cannot be applied to currently available deep learning methods. To fully utilize the remaining unlabeled images, we propose a Geographical Knowledge-driven Representation learning method for remote sensing images (GeoKR), improving network performance and reduce the demand for annotated data. The global land cover products and geographical location associated with each remote sensing image are regarded as geographical knowledge to provide supervision for representation learning and network pre-training. An efficient pre-training framework is proposed to eliminate the supervision noises caused by imaging times and resolutions difference between remote sensing images and geographical knowledge. A large scale pre-training dataset Levir-KR is proposed to support network pre-training. It contains 1,431,950 remote sensing images from Gaofen series satellites with various resolutions. Experimental results demonstrate that our proposed method outperforms ImageNet pre-training and self-supervised representation learning methods and significantly reduces the burden of data annotation on downstream tasks such as scene classification, semantic segmentation, object detection, and cloud / snow detection. It demonstrates that our proposed method can be used as a novel paradigm for pre-training neural networks. Codes will be available on https://github.com/flyakon/Geographical-Knowledge-driven-Representaion-Learning.