arXiv reaDer
CLUDA : セマンティック セグメンテーションのための教師なしドメイン適応における対照的学習
CLUDA : Contrastive Learning in Unsupervised Domain Adaptation for Semantic Segmentation
この作業では、ターゲットドメインから生成された疑似ラベルを利用する学生教師学習パラダイムに対照的な損失を組み込むことにより、セマンティックセグメンテーションの教師なしドメイン適応 (UDA) を実行するためのシンプルでありながら新しい方法である CLUDA を提案します。教師ネットワーク。より具体的には、エンコーダーからマルチレベルの融合機能マップを抽出し、画像のソースとターゲットの混合を介して、異なるクラスと異なるドメインにコントラスト損失を適用します。さまざまな機能エンコーダー アーキテクチャと、セマンティック セグメンテーションのさまざまなドメイン適応データセットのパフォーマンスを一貫して向上させます。さらに、UDA の最先端のマルチ解像度トレーニング アプローチを改善するために、学習加重コントラスト ロスを導入します。 GTA → Cityscapes (74.4 mIOU、+0.6) および Synthia → Cityscapes (67.2 mIOU、+1.4) データセットで最先端の結果を生成します。 CLUDA は、セマンティック セグメンテーション タスク用の既存の UDA に簡単に統合できる一般的な方法として、UDA での対照的な学習を効果的に示します。実施の詳細については、補足資料を参照してください。
In this work, we propose CLUDA, a simple, yet novel method for performing unsupervised domain adaptation (UDA) for semantic segmentation by incorporating contrastive losses into a student-teacher learning paradigm, that makes use of pseudo-labels generated from the target domain by the teacher network. More specifically, we extract a multi-level fused-feature map from the encoder, and apply contrastive loss across different classes and different domains, via source-target mixing of images. We consistently improve performance on various feature encoder architectures and for different domain adaptation datasets in semantic segmentation. Furthermore, we introduce a learned-weighted contrastive loss to improve upon on a state-of-the-art multi-resolution training approach in UDA. We produce state-of-the-art results on GTA → Cityscapes (74.4 mIOU, +0.6) and Synthia → Cityscapes (67.2 mIOU, +1.4) datasets. CLUDA effectively demonstrates contrastive learning in UDA as a generic method, which can be easily integrated into any existing UDA for semantic segmentation tasks. Please refer to the supplementary material for the details on implementation.
updated: Sat Aug 27 2022 05:13:14 GMT+0000 (UTC)
published: Sat Aug 27 2022 05:13:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト