arXiv reaDer
セマンティック セグメンテーションにおけるソースフリーのオープン化合物ドメインの適応
Source-Free Open Compound Domain Adaptation in Semantic Segmentation
この作業では、ソース フリー オープン複合ドメイン アダプテーション (SF-OCDA) と呼ばれる新しい概念を導入し、セマンティック セグメンテーションでそれを研究します。 SF-OCDA は、従来のドメイン適応よりも挑戦的ですが、より実用的です。 (1) データのプライバシーとデータ ストレージの問題、(2) 複数のターゲット ドメインと見えないオープン ドメインのシナリオを共同で検討します。 SF-OCDA では、ソースの事前トレーニング済みモデルとターゲット データのみがターゲット モデルの学習に使用できます。モデルは、ターゲットおよび目に見えないオープン ドメインからのサンプルで評価されます。この問題を解決するために、トレーニング プロセスを 2 つの段階に分けることで効果的なフレームワークを提示します。(1) 一般化されたソース モデルの事前トレーニングと、(2) 自己教師あり学習によるターゲット モデルの適応です。私たちのフレームワークでは、機能レベルのさまざまなパッチ スタイルでサンプルを多様化するクロスパッチ スタイル スワップ (CPSS) を提案します。これは、両方の段階のトレーニングに役立つ可能性があります。まず、CPSS はソース モデルの汎化能力を大幅に改善し、後期段階により正確な疑似ラベルを提供します。第二に、CPSS は、ノイズの多い疑似ラベルの影響を軽減し、自己教師あり学習中にターゲット ドメインへのモデルの過剰適合を回避し、ターゲット ドメインとオープン ドメインのパフォーマンスを一貫して向上させることができます。実験は、私たちの方法が C-Driving データセットで最先端の結果を生み出すことを示しています。さらに、私たちのモデルは、ドメインの一般化に関して CityScapes で優れたパフォーマンスも実現しています。
In this work, we introduce a new concept, named source-free open compound domain adaptation (SF-OCDA), and study it in semantic segmentation. SF-OCDA is more challenging than the traditional domain adaptation but it is more practical. It jointly considers (1) the issues of data privacy and data storage and (2) the scenario of multiple target domains and unseen open domains. In SF-OCDA, only the source pre-trained model and the target data are available to learn the target model. The model is evaluated on the samples from the target and unseen open domains. To solve this problem, we present an effective framework by separating the training process into two stages: (1) pre-training a generalized source model and (2) adapting a target model with self-supervised learning. In our framework, we propose the Cross-Patch Style Swap (CPSS) to diversify samples with various patch styles in the feature-level, which can benefit the training of both stages. First, CPSS can significantly improve the generalization ability of the source model, providing more accurate pseudo-labels for the latter stage. Second, CPSS can reduce the influence of noisy pseudo-labels and also avoid the model overfitting to the target domain during self-supervised learning, consistently boosting the performance on the target and open domains. Experiments demonstrate that our method produces state-of-the-art results on the C-Driving dataset. Furthermore, our model also achieves the leading performance on CityScapes for domain generalization.
updated: Mon Jun 07 2021 08:38:41 GMT+0000 (UTC)
published: Mon Jun 07 2021 08:38:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト