arXiv reaDer
DSP: Dual Soft-Paste for Unsupervised Domain Adaptive Semantic Segmentation
セマンティックセグメンテーションの教師なしドメイン適応(UDA)は、ラベル付きソースドメインでトレーニングされたセグメンテーションモデルをラベルなしターゲットドメインに適応させることを目的としています。既存の方法は、特に初期トレーニングフェーズで、矛盾する機能を正しく位置合わせすることを困難にする大きなドメインギャップに悩まされながら、ドメイン不変の機能を学習しようとします。この問題に対処するために、この論文では新しいデュアルソフトペースト(DSP)法を提案します。具体的には、DSPは、ロングテールクラスの最初のサンプリング戦略を使用してソースドメイン画像からいくつかのクラスを選択し、対応する画像パッチをソーストレーニング画像とターゲットトレーニング画像の両方に融合重みでソフトに貼り付けます。技術的には、ドメイン適応のための平均教師フレームワークを採用しています。このフレームワークでは、貼り付けられたソース画像とターゲット画像が学生ネットワークを通過し、元のターゲット画像が教師ネットワークを通過します。出力レベルの位置合わせは、重み付けされたクロスエントロピー損失を使用して、両方のネットワークからのターゲット融合画像の確率マップを位置合わせすることによって実行されます。さらに、特徴レベルの位置合わせは、加重最大平均不一致損失を使用して、学生ネットワークからのソース画像とターゲット画像の特徴マップを位置合わせすることによって実行されます。 DSPは、中間ドメインからのドメイン不変機能のモデル学習を容易にし、収束の高速化とパフォーマンスの向上につながります。 2つの挑戦的なベンチマークでの実験は、最先端の方法に対するDSPの優位性を示しています。コードはで入手できます。
Unsupervised domain adaptation (UDA) for semantic segmentation aims to adapt a segmentation model trained on the labeled source domain to the unlabeled target domain. Existing methods try to learn domain invariant features while suffering from large domain gaps that make it difficult to correctly align discrepant features, especially in the initial training phase. To address this issue, we propose a novel Dual Soft-Paste (DSP) method in this paper. Specifically, DSP selects some classes from a source domain image using a long-tail class first sampling strategy and softly pastes the corresponding image patch on both the source and target training images with a fusion weight. Technically, we adopt the mean teacher framework for domain adaptation, where the pasted source and target images go through the student network while the original target image goes through the teacher network. Output-level alignment is carried out by aligning the probability maps of the target fused image from both networks using a weighted cross-entropy loss. In addition, feature-level alignment is carried out by aligning the feature maps of the source and target images from student network using a weighted maximum mean discrepancy loss. DSP facilitates the model learning domain-invariant features from the intermediate domains, leading to faster convergence and better performance. Experiments on two challenging benchmarks demonstrate the superiority of DSP over state-of-the-art methods. Code is available at
updated: Thu Jul 22 2021 15:20:09 GMT+0000 (UTC)
published: Tue Jul 20 2021 16:22:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト