半教師あり学習(SSL)は、ラベルなしデータの使用に成功したため、多くの機械学習タスクで大きな注目を集めていますが、既存のSSLアルゴリズムでは、すべてのラベルなしの例、またはトレーニングの進行中に固定された信頼性の高い予測を使用したラベルなしの例のいずれかを使用します。ただし、あまりにも多くの正しい/間違った疑似ラベル付きの例が削除/選択される可能性があります。この作業では、シンプルでありながら強力なフレームワークを開発します。その重要なアイデアは、既存のSSLメソッドを実行するときに、ラベルなしデータからトレーニング例のサブセットを選択して、ラベル付きデータに関連する疑似ラベルを持つラベルなし例のみをトレーニングに使用することです。モデル。選択は、反復を通じて動的に調整される特定のしきい値よりも損失が小さい例のみを保持することにより、更新の反復ごとに実行されます。私たちが提案するアプローチであるDashは、ラベルのないデータ選択とその理論的保証という点でその適応性を享受しています。具体的には、非凸最適化の観点から、Dashの収束率を理論的に確立します。最後に、ベンチマークを超える最先端の方法と比較して、提案された方法の有効性を経験的に示します。
While semi-supervised learning (SSL) has received tremendous attentions in many machine learning tasks due to its successful use of unlabeled data, existing SSL algorithms use either all unlabeled examples or the unlabeled examples with a fixed high-confidence prediction during the training progress. However, it is possible that too many correct/wrong pseudo labeled examples are eliminated/selected. In this work we develop a simple yet powerful framework, whose key idea is to select a subset of training examples from the unlabeled data when performing existing SSL methods so that only the unlabeled examples with pseudo labels related to the labeled data will be used to train models. The selection is performed at each updating iteration by only keeping the examples whose losses are smaller than a given threshold that is dynamically adjusted through the iteration. Our proposed approach, Dash, enjoys its adaptivity in terms of unlabeled data selection and its theoretical guarantee. Specifically, we theoretically establish the convergence rate of Dash from the view of non-convex optimization. Finally, we empirically demonstrate the effectiveness of the proposed method in comparison with state-of-the-art over benchmarks.