フットプリントラベルが単一の時点でのみ利用可能である場合に、リモートセンシング画像の時系列における建物の変化を検出するための一般的なモデルであるTemporal Cluster Matching(TCM)を提案します。モデルの背後にある直感は、建物のフットプリントの内側と外側のスペクトル値の関係は、建物が建設(または解体)されるときに変化するということです。たとえば、田舎の環境では、建物が建設されるまで、建設前のエリアは周囲の環境と同じように見える場合があります。同様に、都市環境では、建設前のエリアは、建設まで周囲の環境とは異なって見えます。さらに、モデルのパラメーターを選択するためのヒューリスティックな方法を提案します。これにより、データのラベル付け作業を必要とせずに(パラメーターを適合させるために)新しい設定に適用できます。デルマーバ半島の2016/2017年の高解像度航空画像の家禽小屋のデータセットと、インドのSentinel2画像の2020年モザイクのソーラーファームのデータセットにモデルを適用します。私たちの結果は、提案されたヒューリスティックを使用して適合した場合、ラベル付きデータに適合した場合と同様にモデルのパフォーマンスが向上し、さらに、モデルの教師ありバージョンが、テストしたすべてのベースラインの中で最高のパフォーマンスを示します。最後に、提案されたアプローチが効果的なデータ拡張戦略として機能できることを示します。これにより、研究者は時間次元に沿って既存の構造フットプリントラベルを拡張し、複数の時点からの画像を使用して深層学習モデルをトレーニングできます。同じ変化検出タスクで評価した場合、これによりそのようなモデルの空間的一般化が改善されることを示します。
We propose a general model, Temporal Cluster Matching (TCM), for detecting building changes in time series of remotely sensed imagery when footprint labels are only available for a single point in time. The intuition behind the model is that the relationship between spectral values inside and outside of building's footprint will change when a building is constructed (or demolished). For instance, in rural settings, the pre-construction area may look similar to the surrounding environment until the building is constructed. Similarly, in urban settings, the pre-construction areas will look different from the surrounding environment until construction. We further propose a heuristic method for selecting the parameters of our model which allows it to be applied in novel settings without requiring data labeling efforts (to fit the parameters). We apply our model over a dataset of poultry barns from 2016/2017 high-resolution aerial imagery in the Delmarva Peninsula and a dataset of solar farms from a 2020 mosaic of Sentinel 2 imagery in India. Our results show that our model performs as well when fit using the proposed heuristic as it does when fit with labeled data, and further, that supervised versions of our model perform the best among all the baselines we test against. Finally, we show that our proposed approach can act as an effective data augmentation strategy -- it enables researchers to augment existing structure footprint labels along the time dimension and thus use imagery from multiple points in time to train deep learning models. We show that this improves the spatial generalization of such models when evaluated on the same change detection task.