arXiv reaDer
セマンティックセグメンテーションのための協調学習によるマルチソースドメイン適応
Multi-Source Domain Adaptation with Collaborative Learning for Semantic Segmentation
マルチソース教師なしドメイン適応〜(MSDA)は、複数のラベル付きソースドメインでトレーニングされたモデルをラベルなしターゲットドメインに適応させることを目的としています。本論文では、セマンティックセグメンテーションのための協調学習に基づく新しいマルチソースドメイン適応フレームワークを提案します。まず、単純な画像変換方法を導入して、ピクセル値の分布を調整し、ソースドメインとターゲットドメインの間のギャップをある程度減らします。次に、ソースドメイン全体で重要なセマンティック情報を十分に活用するために、ターゲットドメインからのデータを見ることなく、ドメイン適応のための共同学習方法を提案します。さらに、教師なしドメイン適応の設定と同様に、ラベルなしのターゲットドメインデータを活用して、ドメイン適応のパフォーマンスをさらに向上させます。これは、アンサンブルされたモデルによってオンラインで生成された疑似ラベルを使用して、複数の適応モデルの出力をさらに制約することによって実現されます。セマンティックセグメンテーションで広く使用されているドメイン適応ベンチマークデータセットについて、広範な実験とアブレーション研究が実施されています。私たちが提案する方法は、ラベル付きのSynscapesとGTA5データセット、およびラベルなしのCityscapesのトレーニングセットでトレーニングすることにより、Cityscapesの検証セットで59.0%mIoUを達成します。これは、以前のすべての最先端のシングルソースおよびマルチソースの教師なしドメイン適応方法を大幅に上回っています。
Multi-source unsupervised domain adaptation~(MSDA) aims at adapting models trained on multiple labeled source domains to an unlabeled target domain. In this paper, we propose a novel multi-source domain adaptation framework based on collaborative learning for semantic segmentation. Firstly, a simple image translation method is introduced to align the pixel value distribution to reduce the gap between source domains and target domain to some extent. Then, to fully exploit the essential semantic information across source domains, we propose a collaborative learning method for domain adaptation without seeing any data from target domain. In addition, similar to the setting of unsupervised domain adaptation, unlabeled target domain data is leveraged to further improve the performance of domain adaptation. This is achieved by additionally constraining the outputs of multiple adaptation models with pseudo labels online generated by an ensembled model. Extensive experiments and ablation studies are conducted on the widely-used domain adaptation benchmark datasets in semantic segmentation. Our proposed method achieves 59.0% mIoU on the validation set of Cityscapes by training on the labeled Synscapes and GTA5 datasets and unlabeled training set of Cityscapes. It significantly outperforms all previous state-of-the-arts single-source and multi-source unsupervised domain adaptation methods.
updated: Fri Jun 18 2021 08:07:33 GMT+0000 (UTC)
published: Mon Mar 08 2021 12:51:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト