新しい学習パラダイムである自己教師あり学習(SSL)を使用して、ラベルのない大きな画像を使用して一般モデルを事前トレーニングし、ラベルの付いたサンプルが非常に少ないダウンストリームタスクを微調整することで、このような問題を解決できます。対照学習はSSLの典型的な方法であり、一般的な不変の機能を学習できます。ただし、既存の対照学習のほとんどは、画像レベルの表現を取得するための分類タスク用に設計されています。これは、ピクセルレベルの識別を必要とするセマンティックセグメンテーションタスクには最適ではない可能性があります。したがって、リモートセンシングセマンティックセグメンテーションのためのグローバルスタイルとローカルマッチング対照学習ネットワーク(GLCNet)を提案します。具体的には、グローバルスタイルの対照モジュールを使用して、画像レベルの表現をより適切に学習します。これは、スタイル機能が画像機能全体をより適切に表現できると考えているためです。対照モジュールに一致する局所特徴は、セマンティックセグメンテーションに有益な局所領域の表現を学習するように設計されています。 4つのリモートセンシングセマンティックセグメンテーションデータセットを評価し、実験結果は、私たちの方法が最先端の自己教師あり方法とImageNet事前トレーニングよりもほとんど優れていることを示しています。具体的には、元のデータセットからの1%の注釈により、私たちのアプローチは、既存のベースラインと比較して、ISPRSポツダムデータセットで6%、ディープグローブ土地被覆分類データセットで3%カッパを改善します。さらに、アップストリームタスクとダウンストリームタスクのデータセット間にいくつかの違いがある場合、私たちの方法は教師あり学習よりも優れています。私たちの研究は、リモートセンシングセマンティックセグメンテーションの分野における自己教師あり学習の開発を促進します。ソースコードはhttps://github.com/GeoX-Lab/G-RSIMで入手できます。
A new learning paradigm, self-supervised learning (SSL), can be used to solve such problems by pre-training a general model with large unlabeled images and then fine-tuning on a downstream task with very few labeled samples. Contrastive learning is a typical method of SSL, which can learn general invariant features. However, most of the existing contrastive learning is designed for classification tasks to obtain an image-level representation, which may be sub-optimal for semantic segmentation tasks requiring pixel-level discrimination. Therefore, we propose Global style and Local matching Contrastive Learning Network (GLCNet) for remote sensing semantic segmentation. Specifically, the global style contrastive module is used to learn an image-level representation better, as we consider the style features can better represent the overall image features; The local features matching contrastive module is designed to learn representations of local regions which is beneficial for semantic segmentation. We evaluate four remote sensing semantic segmentation datasets, and the experimental results show that our method mostly outperforms state-of-the-art self-supervised methods and ImageNet pre-training. Specifically, with 1% annotation from the original dataset, our approach improves Kappa by 6% on the ISPRS Potsdam dataset and 3% on Deep Globe Land Cover Classification dataset relative to the existing baseline. Moreover, our method outperforms supervised learning when there are some differences between the datasets of upstream tasks and downstream tasks. Our study promotes the development of self-supervised learning in the field of remote sensing semantic segmentation. The source code is available at https://github.com/GeoX-Lab/G-RSIM.