ドメイン適応セマンティックセグメンテーションは、ドメイン外(ソース)アノテーションのみを使用して、ターゲットで満足のいくピクセルレベルの予測を実行するモデルをトレーニングすることを目的としています。このタスクの従来の解決策は、ソースとターゲット間の不一致を最小限に抑えて、効果的な知識の伝達を可能にすることです。以前のドメインの不一致の最小化方法は、主に敵対者のトレーニングに基づいています。彼らはドメインの不一致をグローバルに考慮する傾向があり、ピクセルごとの関係を無視し、識別力が低くなります。この論文では、ソースピクセルペアとターゲットピクセルペアの間にピクセルレベルのサイクルアソシエーションを構築し、それらの接続を対照的に強化して、ドメインギャップを減らし、機能をより識別しやすくすることを提案します。私たちの知る限り、これはそのような困難な課題に取り組むための新しい視点です。 GTAV→CityscapesとSYNTHIA→Cityscapesの2つの代表的なドメイン適応ベンチマークでの実験結果は、提案された方法の有効性を検証し、私たちの方法が以前の最先端技術に対して良好に機能することを示しています。私たちの方法は、1つの段階でエンドツーエンドでトレーニングでき、追加のパラメーターを導入しません。これは、一般的なフレームワークとして機能し、ドメイン適応セマンティックセグメンテーションの将来の研究を容易にするのに役立ちます。コードはhttps://github.com/kgl-prml/Pixel-Level-Cycle-Associationで入手できます。
Domain adaptive semantic segmentation aims to train a model performing satisfactory pixel-level predictions on the target with only out-of-domain (source) annotations. The conventional solution to this task is to minimize the discrepancy between source and target to enable effective knowledge transfer. Previous domain discrepancy minimization methods are mainly based on the adversarial training. They tend to consider the domain discrepancy globally, which ignore the pixel-wise relationships and are less discriminative. In this paper, we propose to build the pixel-level cycle association between source and target pixel pairs and contrastively strengthen their connections to diminish the domain gap and make the features more discriminative. To the best of our knowledge, this is a new perspective for tackling such a challenging task. Experiment results on two representative domain adaptation benchmarks, i.e. GTAV → Cityscapes and SYNTHIA → Cityscapes, verify the effectiveness of our proposed method and demonstrate that our method performs favorably against previous state-of-the-arts. Our method can be trained end-to-end in one stage and introduces no additional parameters, which is expected to serve as a general framework and help ease future research in domain adaptive semantic segmentation. Code is available at https://github.com/kgl-prml/Pixel- Level-Cycle-Association.