ほとんどの変更検出方法は、変更前と変更後の画像が同じセンサーによって取得されることを前提としています。ただし、自然災害などの多くの実際のシナリオでは、発生の前後に利用可能な最新の画像を使用する方が実用的です。これらの画像は、さまざまなセンサーを使用して取得できます。特に、光学センサーと合成開口レーダー(SAR)センサーによって取得された画像の組み合わせに関心があります。 SAR画像は、同じシーンをキャプチャした場合でも、光学画像とは大きく異なって見えます。これに加えて、変更検出方法は、多くの場合、ターゲット画像ペアのみを使用し、ラベル付きデータを使用せず、追加のラベルなしデータを使用しないように制約されます。このような制約は、マルチセンサーの変化を検出するための従来の教師あり機械学習と教師なし生成アプローチの範囲を制限します。自己教師あり学習方法の最近の急速な発展は、それらのいくつかがほんの少しの画像でさえ機能することができることを示しました。これに動機付けられて、この作業では、ディープクラスタリングと対照学習を使用して自己監視方式でネットワークをトレーニングするために使用されるラベルなしのターゲットバイテンポラル画像のみを使用するマルチセンサー変化検出の方法を提案します。提案された方法は、変化を示す4つのマルチモーダルバイテンポラルシーンで評価され、自己教師ありアプローチの利点が示されます。
Most change detection methods assume that pre-change and post-change images are acquired by the same sensor. However, in many real-life scenarios, e.g., natural disaster, it is more practical to use the latest available images before and after the occurrence of incidence, which may be acquired using different sensors. In particular, we are interested in the combination of the images acquired by optical and Synthetic Aperture Radar (SAR) sensors. SAR images appear vastly different from the optical images even when capturing the same scene. Adding to this, change detection methods are often constrained to use only target image-pair, no labeled data, and no additional unlabeled data. Such constraints limit the scope of traditional supervised machine learning and unsupervised generative approaches for multi-sensor change detection. Recent rapid development of self-supervised learning methods has shown that some of them can even work with only few images. Motivated by this, in this work we propose a method for multi-sensor change detection using only the unlabeled target bi-temporal images that are used for training a network in self-supervised fashion by using deep clustering and contrastive learning. The proposed method is evaluated on four multi-modal bi-temporal scenes showing change and the benefits of our self-supervised approach are demonstrated.