リモート センシング データを解析するための機械学習アルゴリズムには、社会的に関連する幅広いアプリケーションがありますが、これらのアルゴリズムのトレーニングに使用されるラベルは取得が困難または不可能な場合があります。この課題は、ラベル付けされたデータセットが小さい地域またはアプリケーション ドメインでの機械学習の使用を解き放つことを目的とした、リモート センシング データの自己教師あり学習に関する研究に拍車をかけました。リモート センシング データに対する現在の自己教師あり学習アプローチは、自然画像に適用される技術から大きなインスピレーションを得ています。ただし、リモート センシング データには、自然画像とは重要な違いがあります。たとえば、時間次元は多くのタスクにとって重要であり、データは多くの補完的なセンサーから収集されます。リモートセンシングデータ専用のモデルと自己教師付きトレーニング手法を設計すると、モデルが小さくなり、パフォーマンスが向上することを示します。リモート センシング ピクセル時系列データで事前トレーニングされたトランスフォーマー ベースのモデルである Pretrained Remote Sensing Transformer (Presto) を紹介します。 Presto は、さまざまなグローバルに分散されたリモート センシング タスクに優れており、はるかに大規模なモデルよりも優れています。 Presto は、転移学習に使用したり、単純なモデルの特徴抽出器として使用したりできるため、大規模で効率的な展開が可能になります。
Machine learning algorithms for parsing remote sensing data have a wide range of societally relevant applications, but labels used to train these algorithms can be difficult or impossible to acquire. This challenge has spurred research into self-supervised learning for remote sensing data aiming to unlock the use of machine learning in geographies or application domains where labelled datasets are small. Current self-supervised learning approaches for remote sensing data draw significant inspiration from techniques applied to natural images. However, remote sensing data has important differences from natural images -- for example, the temporal dimension is critical for many tasks and data is collected from many complementary sensors. We show that designing models and self-supervised training techniques specifically for remote sensing data results in both smaller and more performant models. We introduce the Pretrained Remote Sensing Transformer (Presto), a transformer-based model pre-trained on remote sensing pixel-timeseries data. Presto excels at a wide variety of globally distributed remote sensing tasks and outperforms much larger models. Presto can be used for transfer learning or as a feature extractor for simple models, enabling efficient deployment at scale.