arXiv reaDer
マルチフュージョン適応:教師なしセマンティックセグメンテーション適応のための強力なフレームワーク
Multiple Fusion Adaptation: A Strong Framework for Unsupervised Semantic Segmentation Adaptation
このホワイトペーパーでは、追加のアノテーションを発生させることなく、ラベルのないターゲットドメインでのセグメンテーションの精度を向上させることを目的として、クロスドメインセマンティックセグメンテーションタスクに挑戦します。疑似ラベルベースの教師なしドメイン適応(UDA)パイプラインを使用して、新規で効果的な複数融合適応(MFA)メソッドを提案します。 MFAは基本的に、3つの並列情報融合戦略、つまり、クロスモデル融合、時間的融合、および新しいオンライン-オフライン疑似ラベル融合を考慮します。具体的には、オンラインとオフラインの疑似ラベルの融合により、適応トレーニングは、オフラインの疑似ラベルでは簡単に無視される困難な領域にさらに注意を払うようになり、より有益な詳細が保持されます。他の2つの融合戦略は標準に見えるかもしれませんが、MFAは統合の効率と有効性を高めるために多大な努力を払い、3つの戦略すべてを統一されたフレームワークに注入することに成功しています。 GTA5-to-CityscapesとSYNTHIA-to-Cityscapesの2つの広く使用されているベンチマークでの実験は、私たちの方法がセマンティックセグメンテーションの適応を大幅に改善し、新しい最先端技術を設定することを示しています(それぞれ58.2%と62.5%mIoU) 。コードはhttps://github.com/KaiiZhang/MFAで入手できます。
This paper challenges the cross-domain semantic segmentation task, aiming to improve the segmentation accuracy on the unlabeled target domain without incurring additional annotation. Using the pseudo-label-based unsupervised domain adaptation (UDA) pipeline, we propose a novel and effective Multiple Fusion Adaptation (MFA) method. MFA basically considers three parallel information fusion strategies, i.e., the cross-model fusion, temporal fusion and a novel online-offline pseudo label fusion. Specifically, the online-offline pseudo label fusion encourages the adaptive training to pay additional attention to difficult regions that are easily ignored by offline pseudo labels, therefore retaining more informative details. While the other two fusion strategies may look standard, MFA pays significant efforts to raise the efficiency and effectiveness for integration, and succeeds in injecting all the three strategies into a unified framework. Experiments on two widely used benchmarks, i.e., GTA5-to-Cityscapes and SYNTHIA-to-Cityscapes, show that our method significantly improves the semantic segmentation adaptation, and sets up new state of the art (58.2% and 62.5% mIoU, respectively). The code will be available at https://github.com/KaiiZhang/MFA.
updated: Wed Dec 01 2021 06:11:43 GMT+0000 (UTC)
published: Wed Dec 01 2021 06:11:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト