arXiv reaDer
Repetitive Reprediction Deep Decipher for Semi-Supervised Learning
 最新の半教師付きディープラーニング(ディープSSL)メソッドでは、同様のパラダイムを使用しました。ネットワーク予測を使用して擬似ラベルを更新し、擬似ラベルを使用してネットワークパラメーターを繰り返し更新します。ただし、それらには理論的なサポートが欠けており、予測が擬似ラベルの適切な候補である理由を説明できません。このペーパーでは、SSLのDeep Decipher(D2)という名前の原則に基づいたエンドツーエンドのフレームワークを提案します。 D2フレームワーク内で、擬似ラベルが指数リンク関数によってネットワーク予測に関連していることを証明します。これにより、擬似ラベルとして予測を使用するための理論的なサポートが提供されます。さらに、ネットワーク予測によって疑似ラベルを更新すると不確実になることを示します。この問題を軽減するために、反復的再現(R2)と呼ばれるトレーニング戦略を提案します。最後に、提案されたR2-D2メソッドは、大規模なImageNetデータセットでテストされ、最先端のメソッドを5パーセントポイント上回っています。
Most recent semi-supervised deep learning (deep SSL) methods used a similar paradigm: use network predictions to update pseudo-labels and use pseudo-labels to update network parameters iteratively. However, they lack theoretical support and cannot explain why predictions are good candidates for pseudo-labels. In this paper, we propose a principled end-to-end framework named deep decipher (D2) for SSL. Within the D2 framework, we prove that pseudo-labels are related to network predictions by an exponential link function, which gives a theoretical support for using predictions as pseudo-labels. Furthermore, we demonstrate that updating pseudo-labels by network predictions will make them uncertain. To mitigate this problem, we propose a training strategy called repetitive reprediction (R2). Finally, the proposed R2-D2 method is tested on the large-scale ImageNet dataset and outperforms state-of-the-art methods by 5 percentage points.
updated: Wed Nov 27 2019 01:59:50 GMT+0000 (UTC)
published: Fri Aug 09 2019 11:57:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト