arXiv reaDer
RankingMatch: Delving into Semi-Supervised Learning with Consistency Regularization and Ranking Loss
半教師あり学習(SSL)は、ラベル付きデータが限られている場合に、ラベルなしデータを活用する上で重要な役割を果たしてきました。最も成功したSSLアプローチの1つは、一貫性の正則化に基づいています。これにより、モデルが摂動された入力で変更されないように生成されます。ただし、同じラベルを持つ入力にはあまり注意が払われていません。同じラベルを持つ入力は同様のモデル出力を持つべきであるという観察に動機付けられて、摂動された入力だけでなく同じラベルを持つ入力間の類似性も考慮する新しい方法、RankingMatchを提案します。特に、BatchMean Triplet Lossと呼ばれる新しい目的関数を導入します。これには、すべての入力サンプルを考慮しながら計算効率が向上するという利点があります。当社のRankingMatchは、250ラベルのCIFAR-10で95.13%の精度、10000ラベルのCIFAR-100で77.65%の精度、97.76%の精度など、さまざまなラベル付きデータ量で多くの標準SSLベンチマークにわたって最先端のパフォーマンスを実現します。 250ラベルのSVHNで、1000ラベルのSVHNで97.77%の精度。また、既存のバージョンのトリプレット損失に対する提案されたBatchMeanトリプレット損失の有効性を証明するためにアブレーション研究を実施します。
Semi-supervised learning (SSL) has played an important role in leveraging unlabeled data when labeled data is limited. One of the most successful SSL approaches is based on consistency regularization, which encourages the model to produce unchanged with perturbed input. However, there has been less attention spent on inputs that have the same label. Motivated by the observation that the inputs having the same label should have the similar model outputs, we propose a novel method, RankingMatch, that considers not only the perturbed inputs but also the similarity among the inputs having the same label. We especially introduce a new objective function, dubbed BatchMean Triplet loss, which has the advantage of computational efficiency while taking into account all input samples. Our RankingMatch achieves state-of-the-art performance across many standard SSL benchmarks with a variety of labeled data amounts, including 95.13% accuracy on CIFAR-10 with 250 labels, 77.65% accuracy on CIFAR-100 with 10000 labels, 97.76% accuracy on SVHN with 250 labels, and 97.77% accuracy on SVHN with 1000 labels. We also perform an ablation study to prove the efficacy of the proposed BatchMean Triplet loss against existing versions of Triplet loss.
updated: Sat Oct 09 2021 01:54:29 GMT+0000 (UTC)
published: Sat Oct 09 2021 01:54:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト