特徴レベルでソースドメインとターゲットドメイン間のコサイン類似度を最大化することにより、セマンティックセグメンテーションのための教師なしドメイン適応の問題に取り組む新しい方法を提案します。セグメンテーションネットワークは、主に特徴抽出器と分類ヘッドの2つの部分で構成されます。 2つのドメインの機能レベルでのドメインギャップを小さくすることができれば、分類ヘッドでもドメインの不一致が小さくなると予想されます。この方法では、ソースフィーチャマップとターゲットフィーチャマップの間のコサイン類似度行列を計算し、しきい値を超える要素を最大化して、ターゲットフィーチャが最も類似したソースフィーチャと高い類似性を持つようにガイドします。さらに、ソースドメインの最新の特徴を格納するクラスごとのソース特徴辞書を使用して、コサイン類似度マトリックスを計算する際の不一致の問題を防ぎ、ターゲット特徴をさまざまな画像のさまざまなソース特徴と比較できるようにします。広範な実験を通じて、私たちの方法が2つの教師なしドメイン適応タスク(GTA5 \ toCityscaspesおよびSYNTHIA \ to Cityscapes)でパフォーマンスを向上させることを確認します。
We propose a novel method that tackles the problem of unsupervised domain adaptation for semantic segmentation by maximizing the cosine similarity between the source and the target domain at the feature level. A segmentation network mainly consists of two parts, a feature extractor and a classification head. We expect that if we can make the two domains have small domain gap at the feature level, they would also have small domain discrepancy at the classification head. Our method computes a cosine similarity matrix between the source feature map and the target feature map, then we maximize the elements exceeding a threshold to guide the target features to have high similarity with the most similar source feature. Moreover, we use a class-wise source feature dictionary which stores the latest features of the source domain to prevent the unmatching problem when computing the cosine similarity matrix and be able to compare a target feature with various source features from various images. Through extensive experiments, we verify that our method gains performance on two unsupervised domain adaptation tasks (GTA5\to Cityscaspes and SYNTHIA\to Cityscapes).