リモート センシング データは、土地利用や被覆分類、天気予報、農業管理、環境モニタリングなどのさまざまな地球観測 (EO) ミッションに広く使用されています。既存のリモート センシング データベースのモデルのほとんどは教師あり学習に基づいており、モデルのトレーニングには人間がラベル付けした大規模で代表的なデータが必要ですが、これにはコストと時間がかかります。最近では、自己教師あり学習 (SSL) により、モデルは桁違いに多くのラベルなしデータから表現を学習できるようになりました。この表現は、下流タスクのパフォーマンスを向上させることが証明されており、リモート センシング アプリケーションの可能性があります。 SSL の成功は、事前に設計された口実タスクに大きく依存します。この口実タスクは、大量のラベルなしデータからモデルに帰納的バイアスを導入します。リモート センシング画像には標準の RGB 色空間を超える豊富なスペクトル情報が含まれているため、RGB 画像に基づいてコンピュータ ビジョンで確立された口実タスクをマルチ/ハイパースペクトル領域に拡張するのは簡単ではない可能性があります。この課題に対処するために、この研究では、ラベルなしデータのスペクトルと空間の両方の情報から表現を学習できる新しい SSL フレームワークを設計しました。このフレームワークには、それぞれオブジェクトベースとピクセルベースのリモート センシング データ分析手法のための 2 つの新しい口実タスクが含まれています。 2 つの典型的な下流タスク評価 (Sentienl-2 マルチスペクトル データセットに対するマルチラベル土地被覆分類タスクとハイパースペクトル データセットに対する地面土壌パラメーター検索タスク) を通じて、結果は、提案された SSL を通じて得られた表現がモデルの大幅な改善を達成したことを示しています。パフォーマンス。
Remote sensing data has been widely used for various Earth Observation (EO) missions such as land use and cover classification, weather forecasting, agricultural management, and environmental monitoring. Most existing remote sensing data-based models are based on supervised learning that requires large and representative human-labelled data for model training, which is costly and time-consuming. Recently, self-supervised learning (SSL) enables the models to learn a representation from orders of magnitude more unlabelled data. This representation has been proven to boost the performance of downstream tasks and has potential for remote sensing applications. The success of SSL is heavily dependent on a pre-designed pretext task, which introduces an inductive bias into the model from a large amount of unlabelled data. Since remote sensing imagery has rich spectral information beyond the standard RGB colour space, the pretext tasks established in computer vision based on RGB images may not be straightforward to be extended to the multi/hyperspectral domain. To address this challenge, this work has designed a novel SSL framework that is capable of learning representation from both spectra-spatial information of unlabelled data. The framework contains two novel pretext tasks for object-based and pixel-based remote sensing data analysis methods, respectively. Through two typical downstream tasks evaluation (a multi-label land cover classification task on Sentienl-2 multispectral datasets and a ground soil parameter retrieval task on hyperspectral datasets), the results demonstrate that the representation obtained through the proposed SSL achieved a significant improvement in model performance.