arXiv reaDer
DINO-MC: マルチサイズのローカル作物を使用したリモート センシング画像の自己教師あり対照学習
DINO-MC: Self-supervised Contrastive Learning for Remote Sensing Imagery with Multi-sized Local Crops
リモート センシング画像のラベリングにはコストがかかり、利用可能なラベルのない画像が大量にあるため、手動のアノテーションなしで特徴表現を学習できる自己教師あり手法が大きな注目を集めています。以前の研究では、リモート センシング タスクにおける自己教師あり学習が調査されましたが、ローカル ビューとグローバル ビューのアライメントに基づく口実タスクは未調査のままです。グローバル ローカル ビューの配置に基づく知識の蒸留による効果的な表現学習構造を採用する DINO に触発されて、リモート センシング画像 (SSLRS) の自己教師あり学習で使用するための 2 つの口実タスクを定式化します。これらのタスクを使用して、正の時間的コントラストと SSLRS のマルチサイズ ビューの有効性を調べます。さらに、DINO を拡張し、単一の固定サイズではなく、さまざまなサイズの作物のローカル ビューを使用する DINO-MC を提案します。私たちの実験は、データセットのわずか 10% で事前トレーニングされた場合でも、DINO-MC が複数のリモート センシング タスクで既存の最先端の SSLRS メソッドと同等以上のパフォーマンスを発揮し、使用する計算リソースが少ないことを示しています。すべてのコード、モデル、および結果は、https://github.com/WennyXY/DINO-MC で入手できます。
Due to the costly nature of remote sensing image labeling and the large volume of available unlabeled imagery, self-supervised methods that can learn feature representations without manual annotation have received great attention. While prior works have explored self-supervised learning in remote sensing tasks, pretext tasks based on local-global view alignment remain underexplored. Inspired by DINO, which employs an effective representation learning structure with knowledge distillation based on global-local view alignment, we formulate two pretext tasks for use in self-supervised learning on remote sensing imagery (SSLRS). Using these tasks, we explore the effectiveness of positive temporal contrast as well as multi-sized views on SSLRS. Moreover, we extend DINO and propose DINO-MC which uses local views of various sized crops instead of a single fixed size. Our experiments demonstrate that even when pre-trained on only 10% of the dataset, DINO-MC performs on par or better than existing state of the art SSLRS methods on multiple remote sensing tasks, while using less computational resources. All codes, models and results are available at https://github.com/WennyXY/DINO-MC.
updated: Sun Mar 12 2023 14:24:10 GMT+0000 (UTC)
published: Sun Mar 12 2023 14:24:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト