arXiv reaDer
CAFS: 半教師ありセマンティック セグメンテーションのためのクラス適応フレームワーク
CAFS: Class Adaptive Framework for Semi-Supervised Semantic Segmentation
半教師付きセマンティック セグメンテーションは、いくつかのラベル付きサンプルと多数のラベルなし画像を使用して、ピクセルを特定のクラスに分類するためのモデルを学習します。最近の主要なアプローチは、ラベル付けされていない画像に対して高い信頼性を持つ疑似ラベル付けピクセルを使用したセルフトレーニングによる一貫性のある正則化です。ただし、セルフ トレーニングに信頼性の高いピクセルのみを使用すると、最新の深層学習ネットワークの信頼性の低いキャリブレーションが原因で、ラベル付けされていないデータセットの情報の多くが失われる可能性があります。この論文では、既存の高信頼性ベースの疑似ラベル付け方法で発生するほとんどの情報の損失に対処するために、半教師ありセマンティック セグメンテーション (CAFS) のクラス適応型半教師ありフレームワークを提案します。既存の半教師付きセマンティック セグメンテーション フレームワークとは異なり、CAFS はラベル付きデータセットで検証セットを構築し、各クラスのキャリブレーション パフォーマンスを活用します。これに基づいて、検証セットからの分析結果を使用して、キャリブレーションを意識したクラスごとの適応しきい値処理とクラスごとの適応オーバーサンプリングを提案します。私たちが提案する CAFS は、ベース PASCAL VOC 2012 データセットの完全なデータ パーティションと、Cityscapes データセットの 1/4 データ パーティションで、それぞれ 83.0% と 80.4% という大幅なマージンで最先端のパフォーマンスを達成します。コードは https://github.com/cjf8899/CAFS で入手できます。
Semi-supervised semantic segmentation learns a model for classifying pixels into specific classes using a few labeled samples and numerous unlabeled images. The recent leading approach is consistency regularization by selftraining with pseudo-labeling pixels having high confidences for unlabeled images. However, using only highconfidence pixels for self-training may result in losing much of the information in the unlabeled datasets due to poor confidence calibration of modern deep learning networks. In this paper, we propose a class-adaptive semisupervision framework for semi-supervised semantic segmentation (CAFS) to cope with the loss of most information that occurs in existing high-confidence-based pseudolabeling methods. Unlike existing semi-supervised semantic segmentation frameworks, CAFS constructs a validation set on a labeled dataset, to leverage the calibration performance for each class. On this basis, we propose a calibration aware class-wise adaptive thresholding and classwise adaptive oversampling using the analysis results from the validation set. Our proposed CAFS achieves state-ofthe-art performance on the full data partition of the base PASCAL VOC 2012 dataset and on the 1/4 data partition of the Cityscapes dataset with significant margins of 83.0% and 80.4%, respectively. The code is available at https://github.com/cjf8899/CAFS.
updated: Tue Mar 21 2023 05:56:53 GMT+0000 (UTC)
published: Tue Mar 21 2023 05:56:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト