arXiv reaDer
半教師ありセマンティック セグメンテーションのための競合ベースのクロスビュー一貫性
Conflict-Based Cross-View Consistency for Semi-Supervised Semantic Segmentation
半教師付きセマンティック セグメンテーションは、大量のラベルなしデータを効果的に活用することで、大規模な完全アノテーション付きトレーニング データの要件を削減できるため、最近、研究への関心が高まっています。現在の方法は、多くの場合、疑似ラベル付けプロセスからの確認バイアスに悩まされていますが、これは共同トレーニング フレームワークによって軽減できます。現在の共同トレーニング ベースの半教師付きセマンティック セグメンテーション メソッドは、異なるサブネットが互いに崩壊するのを防ぐために手作りの摂動に依存していますが、これらの人為的な摂動は最適なソリューションにつながることはできません。この作業では、半教師付きセマンティック セグメンテーションのための 2 分岐共同トレーニング フレームワークに基づく、新しい競合ベースのクロスビュー整合性 (CCVC) メソッドを提案します。私たちの仕事は、無関係なビューから有益な機能を学習するように 2 つのサブネットを強制することを目的としています。特に、最初に、特徴の不一致損失を導入することにより、2 つのサブネットが同じ入力から異なる特徴を学習するように奨励する新しいクロスビュー整合性 (CVC) 戦略を提案しますが、これらの異なる特徴は一貫した予測スコアを生成することが期待されます。入力。 CVC 戦略は、2 つのサブネットが崩壊するのを防ぐのに役立ちます。さらに、モデルが競合する予測からより有用な情報を学習することを保証する競合ベースの疑似ラベリング (CPL) メソッドをさらに提案します。これにより、安定したトレーニング プロセスが実現します。広く使用されているベンチマーク データセットである PASCAL VOC 2012 および Cityscapes で、新しい半教師付きセマンティック セグメンテーション アプローチを検証します。この方法では、新しい最先端のパフォーマンスが達成されます。
Semi-supervised semantic segmentation has recently gained increasing research interest as it can reduce the requirement for large-scale fully-annotated training data by effectively exploiting large amounts of unlabelled data. The current methods often suffer from the confirmation bias from the pseudo-labelling process, which can be alleviated by the co-training framework. The current co-training-based semi-supervised semantic segmentation methods rely on hand-crafted perturbations to prevent the different sub-nets from collapsing into each other, but these artificial perturbations cannot lead to the optimal solution. In this work, we propose a new conflict-based cross-view consistency (CCVC) method based on a two-branch co-training framework for semi-supervised semantic segmentation. Our work aims at enforcing the two sub-nets to learn informative features from irrelevant views. In particular, we first propose a new cross-view consistency (CVC) strategy that encourages the two sub-nets to learn distinct features from the same input by introducing a feature discrepancy loss, while these distinct features are expected to generate consistent prediction scores of the input. The CVC strategy helps to prevent the two sub-nets from stepping into the collapse. In addition, we further propose a conflict-based pseudo-labelling (CPL) method to guarantee the model will learn more useful information from conflicting predictions, which will lead to a stable training process. We validate our new semi-supervised semantic segmentation approach on the widely used benchmark datasets PASCAL VOC 2012 and Cityscapes, where our method achieves new state-of-the-art performance.
updated: Fri Mar 03 2023 10:47:41 GMT+0000 (UTC)
published: Thu Mar 02 2023 14:02:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト