arXiv reaDer
リモートセンシングのための表現学習:教師なしセンサー融合アプローチ
Representation Learning for Remote Sensing: An Unsupervised Sensor Fusion Approach
リモートセンシングへの機械学習の適用では、ラベル付けされたデータはしばしば不足または高価であり、深い畳み込みニューラルネットワークのような強力なモデルのトレーニングを妨げます。ラベルのないデータは豊富ですが、最近の自己教師あり学習アプローチはリモートセンシングドメインには適していません。さらに、ほとんどのリモートセンシングアプリケーションは現在、利用可能なマルチセンサー、マルチチャネル情報の小さなサブセットのみを使用しており、融合されたマルチセンサー表現の必要性を動機付けています。新しい自己監視型トレーニング目標である対照センサーフュージョンを提案します。これは、複数のソースからの連続データを活用して、それらのソースのすべての可能な組み合わせの有用な表現を学習します。この方法では、単一のモデルをトレーニングして複数のセンサーとバンドに共通の情報を使用し、入力チャネルのサブセットが使用された場合でも同様の表現を生成します。 4,700万のラベルなしの連続画像トリプレットのデータセットを使用して、入力センサーからのチャネルの可能な組み合わせから意味的に意味のある表現を生成するようにエンコーダーをトレーニングします。これらの表現は、リモートセンシング分類タスクで完全に監視されたImageNetの重みを上回り、より多くのセンサーが融合されるにつれて向上します。コードはhttps://storage.cloud.google.com/public-published-datasets/csf_code.zipで入手できます。
In the application of machine learning to remote sensing, labeled data is often scarce or expensive, which impedes the training of powerful models like deep convolutional neural networks. Although unlabeled data is abundant, recent self-supervised learning approaches are ill-suited to the remote sensing domain. In addition, most remote sensing applications currently use only a small subset of the multi-sensor, multi-channel information available, motivating the need for fused multi-sensor representations. We propose a new self-supervised training objective, Contrastive Sensor Fusion, which exploits coterminous data from multiple sources to learn useful representations of every possible combination of those sources. This method uses information common across multiple sensors and bands by training a single model to produce a representation that remains similar when any subset of its input channels is used. Using a dataset of 47 million unlabeled coterminous image triplets, we train an encoder to produce semantically meaningful representations from any possible combination of channels from the input sensors. These representations outperform fully supervised ImageNet weights on a remote sensing classification task and improve as more sensors are fused. Our code is available at https://storage.cloud.google.com/public-published-datasets/csf_code.zip.
updated: Wed Aug 11 2021 08:32:58 GMT+0000 (UTC)
published: Wed Aug 11 2021 08:32:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト