パノプティコンセグメンテーションは、近年ますます注目を集めているセマンティックセグメンテーションとインスタンスセグメンテーションを統合します。ただし、ほとんどの既存の研究は教師あり学習のセットアップの下で実施されましたが、さまざまなタスクやアプリケーションで重要な教師なしドメイン適応パノプティコンセグメンテーションはほとんど無視されています。最適なドメイン適応パノプティコンセグメンテーションのために、スタイル間一貫性とタスク間正則化を活用するドメイン適応パノプティコンセグメンテーションネットワークを設計します。スタイル間の一貫性は、異なるスタイルの同じ画像全体の幾何学的不変性を活用して、特定の自己監視を作成し、ネットワークがドメイン不変の機能を学習するように導きます。タスク間正則化は、インスタンスセグメンテーションとセマンティックセグメンテーションの補完的な性質を活用し、ドメイン間の機能の調整を改善するための制約として使用します。複数ドメインの適応パノプティコンセグメンテーションタスク(たとえば、合成から実数および実数から実数)にわたる広範な実験は、提案されたネットワークが最先端と比較して優れたセグメンテーションパフォーマンスを達成することを示しています。
Panoptic segmentation unifies semantic segmentation and instance segmentation which has been attracting increasing attention in recent years. However, most existing research was conducted under a supervised learning setup whereas unsupervised domain adaptive panoptic segmentation which is critical in different tasks and applications is largely neglected. We design a domain adaptive panoptic segmentation network that exploits inter-style consistency and inter-task regularization for optimal domain adaptive panoptic segmentation. The inter-style consistency leverages geometric invariance across the same image of the different styles which fabricates certain self-supervisions to guide the network to learn domain-invariant features. The inter-task regularization exploits the complementary nature of instance segmentation and semantic segmentation and uses it as a constraint for better feature alignment across domains. Extensive experiments over multiple domain adaptive panoptic segmentation tasks (e.g., synthetic-to-real and real-to-real) show that our proposed network achieves superior segmentation performance as compared with the state-of-the-art.