現代の変化検出(CD)は、深い畳み込みの強力な識別能力によって目覚ましい成功を収めています。ただし、シーン内のオブジェクトが複雑であるため、高解像度のリモートセンシングCDは依然として困難です。同じセマンティックコンセプトを持つオブジェクトは、異なる時間と空間位置で異なるスペクトル特性を示す場合があります。純粋な畳み込みを使用する最新のCDパイプラインは、時空で長距離の概念を関連付けるのにまだ苦労しています。非局所的な自己注意アプローチは、ピクセル間の密な関係をモデル化することで有望なパフォーマンスを示しますが、計算効率は低くなります。ここでは、時空間ドメイン内のコンテキストを効率的かつ効果的にモデル化するために、バイテンポラルイメージトランスフォーマー(BIT)を提案します。私たちの直感は、関心の変化の高レベルの概念は、いくつかの視覚的な単語、つまりセマンティックトークンで表すことができるということです。これを実現するために、バイテンポラルイメージをいくつかのトークンに表現し、トランスフォーマーエンコーダーを使用して、コンパクトなトークンベースの時空でコンテキストをモデル化します。学習されたコンテキストリッチトークンは、トランスフォーマーデコーダーを介して元の機能を改良するためにピクセル空間にフィードバックされます。 BITは、深い機能の差異ベースのCDフレームワークに組み込まれています。 3つのCDデータセットでの広範な実験は、提案された方法の有効性と効率を示しています。特に、BITベースのモデルは、わずか3分の1の計算コストとモデルパラメータを使用して、純粋な畳み込みベースラインを大幅に上回っています。洗練された構造(FPN、UNetなど)のない素朴なバックボーン(ResNet18)に基づいて、私たちのモデルは、効率と精度の点で4つ以上の最近の注意ベースの方法を含むいくつかの最先端のCD方法を上回っています。私たちのコードはhttps://github.com/justchenhao/BIT\_CDで入手できます。
Modern change detection (CD) has achieved remarkable success by the powerful discriminative ability of deep convolutions. However, high-resolution remote sensing CD remains challenging due to the complexity of objects in the scene. Objects with the same semantic concept may show distinct spectral characteristics at different times and spatial locations. Most recent CD pipelines using pure convolutions are still struggling to relate long-range concepts in space-time. Non-local self-attention approaches show promising performance via modeling dense relations among pixels, yet are computationally inefficient. Here, we propose a bitemporal image transformer (BIT) to efficiently and effectively model contexts within the spatial-temporal domain. Our intuition is that the high-level concepts of the change of interest can be represented by a few visual words, i.e., semantic tokens. To achieve this, we express the bitemporal image into a few tokens, and use a transformer encoder to model contexts in the compact token-based space-time. The learned context-rich tokens are then feedback to the pixel-space for refining the original features via a transformer decoder. We incorporate BIT in a deep feature differencing-based CD framework. Extensive experiments on three CD datasets demonstrate the effectiveness and efficiency of the proposed method. Notably, our BIT-based model significantly outperforms the purely convolutional baseline using only 3 times lower computational costs and model parameters. Based on a naive backbone (ResNet18) without sophisticated structures (e.g., FPN, UNet), our model surpasses several state-of-the-art CD methods, including better than four recent attention-based methods in terms of efficiency and accuracy. Our code is available at https://github.com/justchenhao/BIT\_CD.