教師なしドメイン適応の最近の進歩により、セマンティックセグメンテーションが大幅に進歩しました。既存の方法は、さまざまなドメインを敵対的なトレーニングに合わせるか、疑似ラベルを利用して教師ありトレーニングを実施する自己学習を伴います。前者は常に敵対的訓練によって引き起こされる不安定な訓練に苦しんでおり、ドメイン内の知識を無視するドメイン間のギャップにのみ焦点を当てています。後者は、誤ったカテゴリに自信過剰なラベル予測を配置する傾向があり、エラーがより多くのサンプルに伝播します。これらの問題を解決するために、統一された原理の下でドメインアラインメントとドメイン固有の探索の両方を満たすローカルリプシッツ制約に基づく2段階の適応セマンティックセグメンテーション方法を提案します。最初の段階では、ドメイン内の知識を活用してさまざまなドメインを整列させる目的関数として、ローカルのLipschitzness正則化を提案します。これにより、非敵対的な適応セマンティックセグメンテーションの有望な方向性が探求されます。第2段階では、ローカルのLipschitzness正則化を使用して、各ピクセルのLipschitznessを満たす確率を推定し、次に、自己学習を実行するために疑似ラベルのしきい値を動的に設定します。このような動的な自己学習は、ノイズの多いラベルによって引き起こされるエラーの伝播を効果的に回避します。両方の段階での最適化は、同じ原理、つまりローカルリプシッツ制約に基づいているため、最初の段階で学習した知識を2番目の段階で維持できます。さらに、モデルにとらわれない特性により、私たちの方法は、CNNベースのセマンティックセグメンテーションネットワークに簡単に適応できます。実験結果は、標準ベンチマークでのメソッドの優れたパフォーマンスを示しています。
Recent advances in unsupervised domain adaptation have seen considerable progress in semantic segmentation. Existing methods either align different domains with adversarial training or involve the self-learning that utilizes pseudo labels to conduct supervised training. The former always suffers from the unstable training caused by adversarial training and only focuses on the inter-domain gap that ignores intra-domain knowledge. The latter tends to put overconfident label prediction on wrong categories, which propagates errors to more samples. To solve these problems, we propose a two-stage adaptive semantic segmentation method based on the local Lipschitz constraint that satisfies both domain alignment and domain-specific exploration under a unified principle. In the first stage, we propose the local Lipschitzness regularization as the objective function to align different domains by exploiting intra-domain knowledge, which explores a promising direction for non-adversarial adaptive semantic segmentation. In the second stage, we use the local Lipschitzness regularization to estimate the probability of satisfying Lipschitzness for each pixel, and then dynamically sets the threshold of pseudo labels to conduct self-learning. Such dynamical self-learning effectively avoids the error propagation caused by noisy labels. Optimization in both stages is based on the same principle, i.e., the local Lipschitz constraint, so that the knowledge learned in the first stage can be maintained in the second stage. Further, due to the model-agnostic property, our method can easily adapt to any CNN-based semantic segmentation networks. Experimental results demonstrate the excellent performance of our method on standard benchmarks.