arXiv reaDer
Learning a Sensor-invariant Embedding of Satellite Data: A Case Study for Lake Ice Monitoring
さまざまなセンサーで取得した衛星画像を融合することは、特に光学画像や合成開口レーダー(SAR)画像などのさまざまなモダリティにわたって、地球観測の長年の課題でした。ここでは、表現学習に照らして、さまざまなセンサーからの画像の共同分析を検討します。ディープニューラルネットワーク内のセンサー不変の共同埋め込み(特徴表現)を学習することを提案します。私たちのアプリケーションの問題は、高山湖の湖の氷の監視です。スイスグローバル気候観測システム(GCOS)オフィスの時間分解能要件に到達するために、Sentinel-1 SAR(S1-SAR)、Terra MODIS、およびSuomi-NPPVIIRSの3つの画像ソースを組み合わせます。光学ドメインとSARドメインの間、およびセンサー解像度の間の大きなギャップにより、これはセンサー融合問題の挑戦的な例になります。私たちのアプローチは、データ駆動型の方法で学習される機能レベルの融合として分類できます。提案されたネットワークアーキテクチャには、イメージセンサーごとに個別のエンコーディングブランチがあり、単一の潜在的な埋め込みにフィードされます。つまり、すべての入力で共有される共通の特徴表現であり、後続の処理ステップでは、使用された入力画像の種類に関係なく、同等の出力が提供されます。衛星データを融合することにより、湖の氷を1。5日未満の時間分解能でマッピングします。このネットワークは、ピクセル単位の精度が91.3%を超え(それぞれ、mIoUスコアが60.7%を超える)、空間的に明示的な湖の氷のマップを作成し、さまざまな湖や冬によく一般化します。さらに、それは、多くの場合、GCOS要件を満たす、対象湖の重要な着氷日と着氷日を決定するための新しい最先端を設定します。
Fusing satellite imagery acquired with different sensors has been a long-standing challenge of Earth observation, particularly across different modalities such as optical and Synthetic Aperture Radar (SAR) images. Here, we explore the joint analysis of imagery from different sensors in the light of representation learning: we propose to learn a joint, sensor-invariant embedding (feature representation) within a deep neural network. Our application problem is the monitoring of lake ice on Alpine lakes. To reach the temporal resolution requirement of the Swiss Global Climate Observing System (GCOS) office, we combine three image sources: Sentinel-1 SAR (S1-SAR), Terra MODIS and Suomi-NPP VIIRS. The large gaps between the optical and SAR domains and between the sensor resolutions make this a challenging instance of the sensor fusion problem. Our approach can be classified as a feature-level fusion that is learnt in a data-driven manner. The proposed network architecture has separate encoding branches for each image sensor, which feed into a single latent embedding. I.e., a common feature representation shared by all inputs, such that subsequent processing steps deliver comparable output irrespective of which sort of input image was used. By fusing satellite data, we map lake ice at a temporal resolution of <1.5 days. The network produces spatially explicit lake ice maps with pixel-wise accuracies >91.3% (respectively, mIoU scores >60.7%) and generalises well across different lakes and winters. Moreover, it sets a new state-of-the-art for determining the important ice-on and ice-off dates for the target lakes, in many cases meeting the GCOS requirement.
updated: Mon Jul 19 2021 18:11:55 GMT+0000 (UTC)
published: Mon Jul 19 2021 18:11:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト