arXiv reaDer
ドメイン適応セマンティック セグメンテーションのための慎重なドメイン ブリッジング
Deliberated Domain Bridging for Domain Adaptive Semantic Segmentation
教師なしドメイン適応 (UDA) では、ソース ドメインからターゲット ドメインに直接適応すると、通常、重大な不一致が生じ、アライメントが不十分になります。したがって、多くの UDA 作品は、ドメイン ブリッジング (DB) と呼ばれるさまざまな中間スペースを介して、ドメイン ギャップを徐々にかつソフトに解消しようとします。ただし、ドメイン アダプティブ セマンティック セグメンテーション (DASS) などの高密度予測タスクの場合、既存のソリューションは大まかなスタイルの転送に依存しており、ドメインをエレガントにブリッジする方法はまだ調査されていません。この作業では、データ ミキシングに頼って、DASS 用の慎重なドメイン ブリッジング (DDB) を確立します。これにより、ソース ドメインとターゲット ドメインの共同分布が調整され、中間空間でそれぞれと相互作用します。 DDB の中心には、生成された中間サンプルでトレーニングされた 2 つの補完的なモデルを取得するためのクロスパス知識蒸留ステップとともに、粗いデータ混合技術と細かいデータ混合技術を使用して 2 つの中間ドメインを生成するためのデュアルパス ドメイン ブリッジング ステップがあります。 「教師」として、優れた「生徒」を多教師蒸留法で育成します。これらの 2 つの最適化ステップは交互に機能し、相互に強化して、強力な適応力を持つ DDB を生み出します。さまざまな設定を使用した適応セグメンテーション タスクに関する広範な実験により、DDB が最先端の方法よりも大幅に優れていることが示されています。コードは https://github.com/xiaachen98/DDB.git で入手できます。
In unsupervised domain adaptation (UDA), directly adapting from the source to the target domain usually suffers significant discrepancies and leads to insufficient alignment. Thus, many UDA works attempt to vanish the domain gap gradually and softly via various intermediate spaces, dubbed domain bridging (DB). However, for dense prediction tasks such as domain adaptive semantic segmentation (DASS), existing solutions have mostly relied on rough style transfer and how to elegantly bridge domains is still under-explored. In this work, we resort to data mixing to establish a deliberated domain bridging (DDB) for DASS, through which the joint distributions of source and target domains are aligned and interacted with each in the intermediate space. At the heart of DDB lies a dual-path domain bridging step for generating two intermediate domains using the coarse-wise and the fine-wise data mixing techniques, alongside a cross-path knowledge distillation step for taking two complementary models trained on generated intermediate samples as 'teachers' to develop a superior 'student' in a multi-teacher distillation manner. These two optimization steps work in an alternating way and reinforce each other to give rise to DDB with strong adaptation power. Extensive experiments on adaptive segmentation tasks with different settings demonstrate that our DDB significantly outperforms state-of-the-art methods. Code is available at https://github.com/xiaoachen98/DDB.git.
updated: Mon Oct 10 2022 06:56:27 GMT+0000 (UTC)
published: Fri Sep 16 2022 03:41:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト