セマンティック変更検出(SCD)は、マルチクラス変更検出(MCD)タスクを拡張して、変更場所だけでなく、観測間隔の前後の詳細な土地被覆/土地利用(LC / LU)カテゴリも提供します。このきめ細かい意味変化情報は、多くのアプリケーションで非常に役立ちます。最近の研究によると、SCDは、2つの時間分岐と1つの変化分岐を含むトリプルブランチ畳み込みニューラルネットワーク(CNN)を介してモデル化できることが示されています。ただし、このアーキテクチャでは、側頭枝と変化枝の間の通信は不十分です。既存の方法の制限を克服するために、SCDの新しいCNNアーキテクチャを提案します。このアーキテクチャでは、意味的な時間的特徴が深いCDユニットにマージされます。さらに、このアーキテクチャについて詳しく説明し、バイテンポラルセマンティック相関を推論します。結果として得られるバイテンポラルセマンティック推論ネットワーク(Bi-SRNet)には、シングルテンポラルとクロステンポラルの両方のセマンティック相関を推論する2種類のセマンティック推論ブロックと、変化検出結果のセマンティック一貫性を向上させる新しい損失関数が含まれています。ベンチマークデータセットの実験結果は、提案されたアーキテクチャが既存のアプローチよりも大幅な精度の向上を実現する一方で、Bi-SRNetに追加された設計により、セマンティックカテゴリと変更された領域の両方のセグメンテーションがさらに向上することを示しています。このペーパーのコードには、https://github.com/ggsDing/Bi-SRNetからアクセスできます。
Semantic change detection (SCD) extends the multi-class change detection (MCD) task to provide not only the change locations but also the detailed land-cover/land-use (LC/LU) categories before and after the observation intervals. This fine-grained semantic change information is very useful in many applications. Recent studies indicate that the SCD can be modeled through a triple-branch Convolutional Neural Network (CNN), which contains two temporal branches and a change branch. However, in this architecture, the communications between the temporal branches and the change branch are in-sufficient. To overcome the limitations in existing methods, we propose a novel CNN architecture for the SCD, where the semantic temporal features are merged in a deep CD unit. Furthermore, we elaborate on this architecture to reason the bi-temporal semantic correlations. The resulting Bi-temporal Semantic Reasoning Network (Bi-SRNet) contains two types of semantic reasoning blocks to reason both single-temporal and cross-temporal semantic correlations, as well as a novel loss function to improve the semantic consistency of change detection results. Experimental results on a benchmark dataset show that the proposed architecture obtains significant accuracy improvements over the existing approaches, while the added designs in the Bi-SRNet further improves the segmentation of both semantic categories and the changed areas. The codes in this paper are accessible at: https://github.com/ggsDing/Bi-SRNet