自己トレーニング アプローチは、最近、ターゲット ドメインの擬似ラベルを使用してモデルがトレーニングされるドメイン適応型セマンティック セグメンテーションにおいてその地位を確保しています。現在の進歩により、ドメイン ギャップに起因するノイズの多い擬似ラベルが軽減されました。ただし、意味分類子の境界近くで誤った擬似ラベルに依然として苦戦しています。この論文では、セマンティック セグメンテーションにおけるドメイン適応のためのデュアルレベル インタラクション (DIDA) を提案することで、この問題に取り組みます。明示的に、同じピクセルの異なる拡張ビューが類似のクラス予測 (意味レベル) だけでなく、他のピクセルに関して類似の類似関係 (インスタンス レベル) を持つことを推奨します。データセットのすべてのピクセル インスタンスの特徴を保持することは不可能であるため、インスタンスの有益な特徴を選択的に保存する動的更新戦略を備えたラベル付きインスタンス バンクを維持します。さらに、DIDA は、分散および収集技術を使用してレベル間の相互作用を実行し、より信頼性の高い疑似ラベルを再生成します。私たちの方法は、特に混乱を招き、テールが長いクラスにおいて、最新技術の方法を大幅に上回っています。コードは https://github.com/RainJamesY/DIDA で入手できます。
Self-training approach recently secures its position in domain adaptive semantic segmentation, where a model is trained with target domain pseudo-labels. Current advances have mitigated noisy pseudo-labels resulting from the domain gap. However, they still struggle with erroneous pseudo-labels near the boundaries of the semantic classifier. In this paper, we tackle this issue by proposing a dual-level interaction for domain adaptation (DIDA) in semantic segmentation. Explicitly, we encourage the different augmented views of the same pixel to have not only similar class prediction (semantic-level) but also akin similarity relationship with respect to other pixels (instance-level). As it's impossible to keep features of all pixel instances for a dataset, we, therefore, maintain a labeled instance bank with dynamic updating strategies to selectively store the informative features of instances. Further, DIDA performs cross-level interaction with scattering and gathering techniques to regenerate more reliable pseudo-labels. Our method outperforms the state-of-the-art by a notable margin, especially on confusing and long-tailed classes. Code is available at https://github.com/RainJamesY/DIDA