arXiv reaDer
Domain Adaptive Semantic Segmentation without Source Data
ドメイン適応セマンティックセグメンテーションは、自動操縦などの多くの実際のアプリケーションで、ラベル付きソースドメインとラベルなしターゲットドメイン間のドメインシフトを軽減するための有望な手法として認識されています。ただし、大量のソースドメインデータは、ストレージとトレーニングに多大なコストをもたらすことが多く、プライバシーポリシーのためにソースデータにアクセスできない場合があります。これらの問題に対処するために、モデルがソースドメインで事前トレーニングされていることを前提とし、ソースデータにアクセスせずにターゲットドメインに適応する、ソースデータなしのドメイン適応セマンティックセグメンテーションを調査します。ソースドメインデータからの監視がないため、多くのセルフトレーニング方法は「勝者がすべて」のジレンマに陥る傾向があります。このジレンマでは、多数派のクラスがセグメンテーションネットワークを完全に支配し、ネットワークは少数派のクラスを分類できません。 。したがって、私たちは、ポジティブラーニングとネガティブラーニングという2つの要素を備えたこの困難な問題に対する効果的なフレームワークを提案します。ポジティブ学習では、クラス内しきい値を使用してクラスバランスのとれた疑似ラベル付きピクセルを選択します。ネガティブ学習では、各ピクセルについて、提案されたヒューリスティックな補完ラベル選択を使用して、ピクセルが属していないカテゴリを調査します。特に、私たちのフレームワークは簡単に実装でき、他の方法と組み合わせてパフォーマンスをさらに向上させることができます。広く使用されている2つの合成から実数へのベンチマークに関する広範な実験は、私たちの主張とフレームワークの有効性を示しています。これは、ベースラインを大幅に上回っています。コードはで入手できます。
Domain adaptive semantic segmentation is recognized as a promising technique to alleviate the domain shift between the labeled source domain and the unlabeled target domain in many real-world applications, such as automatic pilot. However, large amounts of source domain data often introduce significant costs in storage and training, and sometimes the source data is inaccessible due to privacy policies. To address these problems, we investigate domain adaptive semantic segmentation without source data, which assumes that the model is pre-trained on the source domain, and then adapting to the target domain without accessing source data anymore. Since there is no supervision from the source domain data, many self-training methods tend to fall into the ``winner-takes-all'' dilemma, where the majority classes totally dominate the segmentation networks and the networks fail to classify the minority classes. Consequently, we propose an effective framework for this challenging problem with two components: positive learning and negative learning. In positive learning, we select the class-balanced pseudo-labeled pixels with intra-class threshold, while in negative learning, for each pixel, we investigate which category the pixel does not belong to with the proposed heuristic complementary label selection. Notably, our framework can be easily implemented and incorporated with other methods to further enhance the performance. Extensive experiments on two widely-used synthetic-to-real benchmarks demonstrate our claims and the effectiveness of our framework, which outperforms the baseline with a large margin. Code is available at
updated: Wed Oct 13 2021 04:12:27 GMT+0000 (UTC)
published: Wed Oct 13 2021 04:12:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト