arXiv reaDer
地理を意識した自己監視学習
Geography-Aware Self-Supervised Learning
対照的な学習方法により、コンピュータービジョンタスクの教師あり学習と教師なし学習のギャップが大幅に狭まりました。このホワイトペーパーでは、リモートセンシングなど、地理的に配置されたデータセットへのアプリケーションについて説明します。リモートセンシングでは、ラベルのないデータが豊富にあることが多いのですが、ラベルの付いたデータはほとんどありません。最初に、特性が異なるため、標準ベンチマークでの対照学習と教師あり学習の間に自明ではないギャップが存在することを示します。ギャップを埋めるために、リモートセンシングデータの時空間構造を活用する新しいトレーニング方法を提案します。時間の経過とともに空間的に位置合わせされた画像を活用して、対照的な学習とジオロケーションで時間的な正のペアを構築し、テキスト前のタスクを設計します。私たちの実験は、提案された方法が、画像分類、オブジェクト検出、リモートセンシングのセマンティックセグメンテーションに関する対照学習と教師あり学習の間のギャップを埋めることを示しています。さらに、提案された方法がジオタグ付きImageNet画像にも適用できることを示し、さまざまなタスクのダウンストリームパフォーマンスを向上させます。プロジェクトのWebページは、このリンクgeography-aware-ssl.github.ioにあります。
Contrastive learning methods have significantly narrowed the gap between supervised and unsupervised learning on computer vision tasks. In this paper, we explore their application to geo-located datasets, e.g. remote sensing, where unlabeled data is often abundant but labeled data is scarce. We first show that due to their different characteristics, a non-trivial gap persists between contrastive and supervised learning on standard benchmarks. To close the gap, we propose novel training methods that exploit the spatio-temporal structure of remote sensing data. We leverage spatially aligned images over time to construct temporal positive pairs in contrastive learning and geo-location to design pre-text tasks. Our experiments show that our proposed method closes the gap between contrastive and supervised learning on image classification, object detection and semantic segmentation for remote sensing. Moreover, we demonstrate that the proposed method can also be applied to geo-tagged ImageNet images, improving downstream performance on various tasks. Project Webpage can be found at this link geography-aware-ssl.github.io.
updated: Tue Oct 26 2021 08:20:20 GMT+0000 (UTC)
published: Thu Nov 19 2020 17:29:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト