この論文では、自然災害の余波で衛星画像に基づいて建物の損傷を分類するための、階層型トランスフォーマーを備えた新しい深層学習モデルである DAHiTrA を紹介します。衛星画像は、リアルタイムでカバー範囲の広い情報を提供し、迅速な緊急対応に不可欠な大規模な災害後の建物の被害評価を通知する機会を提供します。この作業では、建物の損傷を評価するための新しい変圧器ベースのネットワークが提案されています。このネットワークは、複数の解像度の階層的な空間機能を活用し、空間機能に変換エンコーダーを適用した後、機能ドメインの時間差をキャプチャします。提案されたネットワークは、ローカリゼーションと損傷分類を構築するための大規模な災害被害データセット (xBD)、および変化検出タスクのための LEVIR-CD データセットでテストされたときに、最先端のパフォーマンスを達成します。さらに、この作業では、ドメイン適応のために新しい高解像度衛星画像データセット Ida-BD (2021 年にルイジアナ州で発生した 2021 年ハリケーン Ida に関連) を導入しています。さらに、微調整を限定してモデルを適応させ、データが不足している新たに被害を受けた地域にモデルを適用することにより、このデータセットを使用するアプローチを示します。
This paper presents DAHiTrA, a novel deep-learning model with hierarchical transformers to classify building damages based on satellite images in the aftermath of natural disasters. Satellite imagery provides real-time and high-coverage information and offers opportunities to inform large-scale post-disaster building damage assessment, which is critical for rapid emergency response. In this work, a novel transformer-based network is proposed for assessing building damage. This network leverages hierarchical spatial features of multiple resolutions and captures temporal difference in the feature domain after applying a transformer encoder on the spatial features. The proposed network achieves state-of-the-art-performance when tested on a large-scale disaster damage dataset (xBD) for building localization and damage classification, as well as on LEVIR-CD dataset for change detection tasks. In addition, this work introduces a new high-resolution satellite imagery dataset, Ida-BD (related to the 2021 Hurricane Ida in Louisiana in 2021) for domain adaptation. Further, it demonstrates an approach of using this dataset by adapting the model with limited fine-tuning and hence applying the model to newly damaged areas with scarce data.