arXiv reaDer
セマンティックセグメンテーションのドメイン適応のためのデュアルパス学習
Dual Path Learning for Domain Adaptation of Semantic Segmentation
セマンティックセグメンテーションのドメイン適応により、大規模なピクセル単位の注釈の必要性を軽減できます。最近、画像から画像への変換を組み合わせた自己教師あり学習(SSL)は、適応セグメンテーションで大きな効果を示しています。最も一般的な方法は、SSLを画像変換とともに実行して、単一のドメイン(ソースまたはターゲット)を適切に調整することです。ただし、この単一ドメインパラダイムでは、画像変換によって発生する避けられない視覚的な不整合が、その後の学習に影響を与える可能性があります。この論文では、ソースドメインとターゲットドメインで実行されるドメイン適応フレームワークが画像変換とSSLに関してほぼ補完的であるという観察に基づいて、視覚的な不整合を軽減するための新しいデュアルパス学習(DPL)フレームワークを提案します。具体的には、DPLには、ソースドメインとターゲットドメインにそれぞれ配置された、2つの補完的でインタラクティブな単一ドメイン適応パイプラインが含まれています。 DPLの推論は非常に単純であり、ターゲットドメインで1つのセグメンテーションモデルのみが使用されます。デュアルパス画像変換やデュアルパス適応セグメンテーションなどの新しい技術を提案して、2つのパスをインタラクティブに相互に促進します。 GTA5→CityscapesおよびSYNTHIA→Cityscapesシナリオでの実験は、最先端の方法に対するDPLモデルの優位性を示しています。コードとモデルは、https://github.com/royee182/DPLで入手できます。
Domain adaptation for semantic segmentation enables to alleviate the need for large-scale pixel-wise annotations. Recently, self-supervised learning (SSL) with a combination of image-to-image translation shows great effectiveness in adaptive segmentation. The most common practice is to perform SSL along with image translation to well align a single domain (the source or target). However, in this single-domain paradigm, unavoidable visual inconsistency raised by image translation may affect subsequent learning. In this paper, based on the observation that domain adaptation frameworks performed in the source and target domain are almost complementary in terms of image translation and SSL, we propose a novel dual path learning (DPL) framework to alleviate visual inconsistency. Concretely, DPL contains two complementary and interactive single-domain adaptation pipelines aligned in source and target domain respectively. The inference of DPL is extremely simple, only one segmentation model in the target domain is employed. Novel technologies such as dual path image translation and dual path adaptive segmentation are proposed to make two paths promote each other in an interactive manner. Experiments on GTA5→Cityscapes and SYNTHIA→Cityscapes scenarios demonstrate the superiority of our DPL model over the state-of-the-art methods. The code and models are available at: https://github.com/royee182/DPL
updated: Fri Aug 13 2021 17:59:55 GMT+0000 (UTC)
published: Fri Aug 13 2021 17:59:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト