半教師あり学習 (SSL) は、ラベル付けされていないデータをトレーニングに組み込むことで、ラベル付けされた大規模なデータセットの必要性を減らすことができます。これは、データのラベル付けに非常にコストと時間がかかるセマンティック セグメンテーションにとって特に興味深いものです。現在の SSL アプローチでは、最初に監視されたトレーニング済みモデルを使用して、疑似ラベルと呼ばれるラベルのない画像の予測を生成します。これは、その後、新しいモデルをゼロからトレーニングするために使用されます。通常、予測はエラーのないニューラル ネットワークから得られるわけではないため、当然、予測はエラーでいっぱいです。ただし、部分的に正しくないラベルを使用してトレーニングすると、最終的なモデルのパフォーマンスが低下することがよくあります。したがって、疑似ラベルのエラー/ノイズを賢く管理することが重要です。この作業では、疑似ラベルのノイズとエラーを制御するために 3 つのメカニズムを使用します。(1) ラベルのない画像の牛パターンと画像を混合して、間違った疑似ラベルの悪影響を減らすことにより、強固な基本フレームワークを構築します。それでも、間違った疑似ラベルは依然としてパフォーマンスに悪影響を及ぼします。したがって、(2)これらの擬似ラベルでトレーニングされたモデルのフィードバックによって定義される擬似ラベルの単純で効果的な損失重み付けスキームを提案します。これにより、トレーニング中に決定された信頼スコアに基づいて、疑似ラベルのトレーニング例をソフトに重み付けできます。 (3) また、信頼性の低い疑似ラベルを無視する一般的な方法を研究し、SSL に対する異なる信頼範囲を持つ疑似ラベルの影響と効果、および達成可能なパフォーマンスの向上に対する疑似ラベル フィルタリングの寄与を経験的に分析します。私たちの方法が、さまざまなデータセットで最先端の代替手段よりも優れていることを示します。さらに、私たちの調査結果は、人間の姿勢推定などの他のタスクにも転送されることを示しています。コードは https://github.com/ChristmasFan/SSL_Denoising_Segmentation で入手できます。
Semi-supervised learning (SSL) can reduce the need for large labelled datasets by incorporating unlabelled data into the training. This is particularly interesting for semantic segmentation, where labelling data is very costly and time-consuming. Current SSL approaches use an initially supervised trained model to generate predictions for unlabelled images, called pseudo-labels, which are subsequently used for training a new model from scratch. Since the predictions usually do not come from an error-free neural network, they are naturally full of errors. However, training with partially incorrect labels often reduce the final model performance. Thus, it is crucial to manage errors/noise of pseudo-labels wisely. In this work, we use three mechanisms to control pseudo-label noise and errors: (1) We construct a solid base framework by mixing images with cow-patterns on unlabelled images to reduce the negative impact of wrong pseudo-labels. Nevertheless, wrong pseudo-labels still have a negative impact on the performance. Therefore, (2) we propose a simple and effective loss weighting scheme for pseudo-labels defined by the feedback of the model trained on these pseudo-labels. This allows us to soft-weight the pseudo-label training examples based on their determined confidence score during training. (3) We also study the common practice to ignore pseudo-labels with low confidence and empirically analyse the influence and effect of pseudo-labels with different confidence ranges on SSL and the contribution of pseudo-label filtering to the achievable performance gains. We show that our method performs superior to state of-the-art alternatives on various datasets. Furthermore, we show that our findings also transfer to other tasks such as human pose estimation. Our code is available at https://github.com/ChristmasFan/SSL_Denoising_Segmentation.