大規模なビジョン モデルの教師なし事前トレーニング方法は、下流の教師付きタスクのパフォーマンスを向上させることが示されています。ラベル付けされていないデータが豊富にあり、固有の時間的およびマルチスペクトル構造が既存の事前トレーニング戦略をさらに改善する手段を提供するため、衛星画像用の同様の技術を開発することは大きな機会を提供します。このホワイト ペーパーでは、Masked Autoencoder (MAE) に基づく一時的またはマルチスペクトルの衛星画像の事前トレーニング フレームワークである SatMAE を紹介します。一時的な情報を活用するために、時間の経過とともに画像パッチを個別にマスキングするとともに、一時的な埋め込みを含めます。さらに、マルチスペクトル データを異なるスペクトル位置エンコーディングを使用してバンドのグループとしてエンコードすることが有益であることを示します。私たちのアプローチは、ベンチマーク データセットでの教師あり学習パフォーマンス (最大 \uparrow 7%) と、土地被覆分類を含むダウンストリーム リモート センシング タスクでの転移学習パフォーマンスの両方の点で、以前の最先端の手法を大幅に改善します (最大 \uparrow 14%) とセマンティック セグメンテーション。コードとデータは、プロジェクトの Web サイト (https://sustainlab-group.github.io/SatMAE/) で入手できます。
Unsupervised pre-training methods for large vision models have shown to enhance performance on downstream supervised tasks. Developing similar techniques for satellite imagery presents significant opportunities as unlabelled data is plentiful and the inherent temporal and multi-spectral structure provides avenues to further improve existing pre-training strategies. In this paper, we present SatMAE, a pre-training framework for temporal or multi-spectral satellite imagery based on Masked Autoencoder (MAE). To leverage temporal information, we include a temporal embedding along with independently masking image patches across time. In addition, we demonstrate that encoding multi-spectral data as groups of bands with distinct spectral positional encodings is beneficial. Our approach yields strong improvements over previous state-of-the-art techniques, both in terms of supervised learning performance on benchmark datasets (up to \uparrow 7%), and transfer learning performance on downstream remote sensing tasks, including land cover classification (up to \uparrow 14%) and semantic segmentation. Code and data are available on the project website: https://sustainlab-group.github.io/SatMAE/