arXiv reaDer
Domain Adaptive Semantic Segmentation with Regional Contrastive Consistency Regularization
教師なしドメイン適応(UDA)は、ラベル付きソースドメインとラベルなしターゲットドメイン間のドメインシフトを橋渡しすることを目的としています。ただし、ほとんどの既存の作業は、セマンティックセグメンテーションのためにグローバルレベルの機能アラインメントを実行しますが、領域間のローカルの一貫性はほとんど無視されており、これらの方法は屋外環境の変化に対して堅牢ではありません。上記の事実に動機付けられて、ドメイン適応セマンティックセグメンテーションのための地域対照一貫性正則化(RCCR)と呼ばれる、斬新で完全にエンドツーエンドのトレーニング可能なアプローチを提案します。私たちの中心的なアイデアは、異なる画像の同じ場所から抽出された同様の地域の特徴を引き寄せて近づけ、その間に2つの画像の異なる場所から特徴をプッシュして分離することです。教師用プロジェクターが生徒の指数移動平均である運動量プロジェクターヘッドを革新的に提案します。さらに、効果的な地域の一貫性を実現するために、2つのサンプリング戦略で地域ごとの対照的な損失を提示します。最後に、メモリバンクメカニズムは、さまざまな環境下でより堅牢で安定した地域ごとの機能を学習するように設計されています。 2つの一般的なUDAベンチマーク、つまりGTAVからCityscapesとSYNTHIAからCityscapesでの広範な実験は、私たちのアプローチが最先端の方法よりも優れていることを示しています。
Unsupervised domain adaptation (UDA) aims to bridge the domain shift between the labeled source domain and the unlabeled target domain. However, most existing works perform the global-level feature alignment for semantic segmentation, while the local consistency between the regions has been largely neglected, and these methods are less robust to changing of outdoor environments. Motivated by the above facts, we propose a novel and fully end-to-end trainable approach, called regional contrastive consistency regularization (RCCR) for domain adaptive semantic segmentation. Our core idea is to pull the similar regional features extracted from the same location of different images to be closer, and meanwhile push the features from the different locations of the two images to be separated. We innovatively propose momentum projector heads, where the teacher projector is the exponential moving average of the student. Besides, we present a region-wise contrastive loss with two sampling strategies to realize effective regional consistency. Finally, a memory bank mechanism is designed to learn more robust and stable region-wise features under varying environments. Extensive experiments on two common UDA benchmarks, i.e., GTAV to Cityscapes and SYNTHIA to Cityscapes, demonstrate that our approach outperforms the state-of-the-art methods.
updated: Mon Oct 11 2021 11:45:00 GMT+0000 (UTC)
published: Mon Oct 11 2021 11:45:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト