arXiv reaDer
クラスター、分割、融合、および更新:オープン複合ドメイン適応セマンティックセグメンテーションのためのメタラーニング
Cluster, Split, Fuse, and Update: Meta-Learning for Open Compound Domain Adaptive Semantic Segmentation
オープンコンパウンドドメインアダプテーション(OCDA)は、ターゲットドメインが複数の未知の同種ドメインのコンパウンドとしてモデル化されるドメインアダプテーション設定であり、見えないドメインへの一般化が改善されるという利点があります。この作業では、ラベルのないターゲットドメインを継続的にモデル化することにより、セマンティックセグメンテーションのためのOCDA、MOCDAへの原理的なメタ学習ベースのアプローチを提案します。私たちのアプローチは、4つの重要なステップで構成されています。まず、教師なしで抽出された画像スタイルによって、ターゲットドメインを複数のサブターゲットドメインにクラスター化します。次に、異なるサブターゲットドメインが独立したブランチに分割され、バッチ正規化パラメーターがそれらを独立して処理するために学習されます。その後、メタラーナーが展開され、スタイルコードを条件として、サブターゲットドメイン固有の予測を融合することを学習します。一方、モデルにとらわれないメタラーニング(MAML)アルゴリズムによってモデルをオンラインで更新することを学び、一般化をさらに改善します。複合ドメインとオープンドメインの両方で最先端のパフォーマンスを達成する、合成から実際への知識移転ベンチマークデータセットに関する広範な実験によって、アプローチの利点を検証します。
Open compound domain adaptation (OCDA) is a domain adaptation setting, where target domain is modeled as a compound of multiple unknown homogeneous domains, which brings the advantage of improved generalization to unseen domains. In this work, we propose a principled meta-learning based approach to OCDA for semantic segmentation, MOCDA, by modeling the unlabeled target domain continuously. Our approach consists of four key steps. First, we cluster target domain into multiple sub-target domains by image styles, extracted in an unsupervised manner. Then, different sub-target domains are split into independent branches, for which batch normalization parameters are learnt to treat them independently. A meta-learner is thereafter deployed to learn to fuse sub-target domain-specific predictions, conditioned upon the style code. Meanwhile, we learn to online update the model by model-agnostic meta-learning (MAML) algorithm, thus to further improve generalization. We validate the benefits of our approach by extensive experiments on synthetic-to-real knowledge transfer benchmark datasets, where we achieve the state-of-the-art performance in both compound and open domains.
updated: Tue Dec 15 2020 13:21:54 GMT+0000 (UTC)
published: Tue Dec 15 2020 13:21:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト