合成データセットと現実世界のデータセットの間のドメイン ギャップを克服するために、セマンティック セグメンテーション用の教師なしドメイン適応方法が提案されています。これまでのアプローチの大部分は、2 つのコンポーネントが積極的に相互作用するという事実を無視して、ピクセルまたはフィーチャ レベルでギャップを削減しようと試みてきました。これに対処するために、独自のコントラスト公式を使用してピクセル レベルと特徴レベルの両方でドメイン ギャップを埋めるための CONtrastive FEaTure およびピクセル アライメント (CONFETI) を提案します。 2 つの調整をリンクするカテゴリごとのクロスドメイン情報を含めることにより、適切に推定されたプロトタイプを導入します。ピクセル レベルの調整は、プロトタイプのセマンティック一貫性を備えた共同トレーニングされたスタイル転送モジュールを使用して達成されますが、機能レベルの調整は強制的に行われます。ピクセルとプロトタイプのコントラストを備えたクロスドメイン機能。私たちの広範な実験により、私たちの方法が DeepLabV2 を使用した既存の最先端の方法よりも優れていることが実証されています。私たちのコードは https://github.com/cxa9264/CONFETI で入手できます。
To overcome the domain gap between synthetic and real-world datasets, unsupervised domain adaptation methods have been proposed for semantic segmentation. Majority of the previous approaches have attempted to reduce the gap either at the pixel or feature level, disregarding the fact that the two components interact positively. To address this, we present CONtrastive FEaTure and pIxel alignment (CONFETI) for bridging the domain gap at both the pixel and feature levels using a unique contrastive formulation. We introduce well-estimated prototypes by including category-wise cross-domain information to link the two alignments: the pixel-level alignment is achieved using the jointly trained style transfer module with the prototypical semantic consistency, while the feature-level alignment is enforced to cross-domain features with the pixel-to-prototype contrast. Our extensive experiments demonstrate that our method outperforms existing state-of-the-art methods using DeepLabV2. Our code is available at https://github.com/cxa9264/CONFETI