arXiv reaDer
ドメイン適応セマンティックセグメンテーションのためのコンテキストアウェアミックスアップ
Context-Aware Mixup for Domain Adaptive Semantic Segmentation
監視なしドメイン適応(UDA)は、ラベル付きソースドメインのモデルをラベルなしターゲットドメインに適応させることを目的としています。ドメインシフトは、外観、テクスチャなどのさまざまな次元で存在する可能性がありますが、一般に異なるドメイン間で共有されるコンテキスト依存性は、最近の方法では無視されています。この論文では、この重要な手がかりを明示的な事前知識として利用し、ドメイン適応セマンティックセグメンテーションのためのエンドツーエンドのコンテキストアウェアミックスアップ(CAMix)を提案します。まず、蓄積された空間分布とコンテキスト関係を活用して、コンテキストマスク生成戦略を設計します。生成されたコンテキストマスクは、この作業で重要であり、ドメインの取り違えを導きます。さらに、ピクセルが信頼できる場所を示すために重要度マスクを定義します。オーバーアラインメント(たとえば、初期のパフォーマンス低下)を軽減するために、ソースとターゲットの重要度マスクがコンテキストマスクに基づいて混合重要度マスクに混合され、重要度が再重み付けされた整合性損失が導入されます。実験結果は、提案された方法が、広く使用されている2つのドメイン適応ベンチマーク、つまりGTAV→CityscapesとSYNTHIA→Cityscapesで、最先端の方法を大幅に上回っていることを示しています。
Unsupervised domain adaptation (UDA) aims to adapt a model of the labeled source domain to an unlabeled target domain. Although the domain shifts may exist in various dimensions such as appearance, textures, etc, the contextual dependency, which is generally shared across different domains, is neglected by recent methods. In this paper, we utilize this important clue as explicit prior knowledge and propose end-to-end Context-Aware Mixup (CAMix) for domain adaptive semantic segmentation. Firstly, we design a contextual mask generation strategy by leveraging accumulated spatial distributions and contextual relationships. The generated contextual mask is critical in this work and will guide the domain mixup. In addition, we define the significance mask to indicate where the pixels are credible. To alleviate the over-alignment (e.g., early performance degradation), the source and target significance masks are mixed based on the contextual mask into the mixed significance mask, and we introduce a significance-reweighted consistency loss on it. Experimental results show that the proposed method outperforms the state-of-the-art methods by a large margin on two widely-used domain adaptation benchmarks, i.e., GTAV → Cityscapes and SYNTHIA → Cityscapes.
updated: Sun Aug 08 2021 03:00:22 GMT+0000 (UTC)
published: Sun Aug 08 2021 03:00:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト