arXiv reaDer
発見、幻覚、適応:セマンティックセグメンテーションのためのオープンコンパウンドドメイン適応
Discover, Hallucinate, and Adapt: Open Compound Domain Adaptation for Semantic Segmentation
セマンティックセグメンテーションの教師なしドメイン適応(UDA)は、ラベルが不足しているさまざまな現実世界のシナリオ(ロボット制御、自動運転、医用画像など)に役立つ可能性があるため、最近注目を集めています。この分野での大きな進歩にもかかわらず、現在の作業は主に単一ソースの単一ターゲット設定に焦点を合わせており、複数のターゲットまたは見えないターゲットのより実用的な設定を処理することはできません。この論文では、セマンティックセグメンテーションのために、混合状況と新規状況を同時に処理するオープンコンパウンドドメインアダプテーション(OCDA)を調査します。発見、幻覚、適応という3つの主要な設計原則に基づいた新しいフレームワークを紹介します。このスキームは、最初にスタイルに基づいて複合ターゲットデータをクラスター化し、複数の潜在ドメインを検出します(検出)。次に、画像変換(hallucinate)を使用して、ソース内の複数の潜在的なターゲットドメインを幻覚化します。この手順により、ソースとターゲットの潜在ドメインがペアになります。最後に、ターゲットからソースへのアラインメントは、ドメイン間で個別に学習されます(適応)。大まかに言えば、私たちのソリューションは、難しいOCDA問題をはるかに簡単な複数のUDA問題に置き換えます。標準的なベンチマークGTAからC駆動までのソリューションを評価し、新しい最先端の結果を達成しました。
Unsupervised domain adaptation (UDA) for semantic segmentation has been attracting attention recently, as it could be beneficial for various label-scarce real-world scenarios (e.g., robot control, autonomous driving, medical imaging, etc.). Despite the significant progress in this field, current works mainly focus on a single-source single-target setting, which cannot handle more practical settings of multiple targets or even unseen targets. In this paper, we investigate open compound domain adaptation (OCDA), which deals with mixed and novel situations at the same time, for semantic segmentation. We present a novel framework based on three main design principles: discover, hallucinate, and adapt. The scheme first clusters compound target data based on style, discovering multiple latent domains (discover). Then, it hallucinates multiple latent target domains in source by using image-translation (hallucinate). This step ensures the latent domains in the source and the target to be paired. Finally, target-to-source alignment is learned separately between domains (adapt). In high-level, our solution replaces a hard OCDA problem with much easier multiple UDA problems. We evaluate our solution on standard benchmark GTA to C-driving, and achieved new state-of-the-art results.
updated: Fri Oct 08 2021 13:20:09 GMT+0000 (UTC)
published: Fri Oct 08 2021 13:20:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト