arXiv reaDer
Exploring Self-Supervised Regularization for Supervised and Semi-Supervised Learning
 半教師付き学習の最近の進歩は、現代の機械学習アルゴリズムの成功に対する主要な障壁である膨大な量の人間ラベル付きトレーニングデータへのアクセスを克服する大きな可能性を示しています。一貫性の正則化に基づく以前のアルゴリズムは、多数のラベルなしデータを活用して、いくつかの半教師ありベンチマークで印象的な結果を生成し、利用可能なラベル付きデータのごく一部を使用して強力な教師ありベースラインのパフォーマンスに近づきます。この作業では、ラベルなしデータからセマンティックフィーチャ表現を結合するための基礎として、自己監視型の正則化を導入することにより、一貫性の正則化の長年の成功に挑戦します。 SVHN、CIFAR-10、およびCIFAR-100ベンチマークデータセットでの教師付きおよび半教師付き画像分類に対する自己教師付き正則化の有効性を実証するために、広範な比較実験を実行します。 2つの主な結果を示します。(1)自己教師付き正則化で強化されたモデルは、ラベルなしデータを必要とせずに、従来の教師付き分類器を大幅に改善します。 (2)ラベルなしのデータと合わせて、当社のモデルは、従来の最先端の一貫性ベースラインと競合し、多くの場合、それを超える準教師付きパフォーマンスをもたらします。最後に、私たちのモデルは、エンドツーエンドで効率的にトレーニングされるという実用的な実用性があり、ニューラルネットワークをトレーニングするための標準セットを超える最適なパフォーマンスを調整するための追加のハイパーパラメーターを必要としません。参照コードとデータはで入手できます。
Recent advances in semi-supervised learning have shown tremendous potential in overcoming a major barrier to the success of modern machine learning algorithms: access to vast amounts of human-labeled training data. Previous algorithms based on consistency regularization can harness the abundance of unlabeled data to produce impressive results on a number of semi-supervised benchmarks, approaching the performance of strong supervised baselines using only a fraction of the available labeled data. In this work, we challenge the long-standing success of consistency regularization by introducing self-supervised regularization as the basis for combining semantic feature representations from unlabeled data. We perform extensive comparative experiments to demonstrate the effectiveness of self-supervised regularization for supervised and semi-supervised image classification on SVHN, CIFAR-10, and CIFAR-100 benchmark datasets. We present two main results: (1) models augmented with self-supervised regularization significantly improve upon traditional supervised classifiers without the need for unlabeled data; (2) together with unlabeled data, our models yield semi-supervised performance competitive with, and in many cases exceeding, prior state-of-the-art consistency baselines. Lastly, our models have the practical utility of being efficiently trained end-to-end and require no additional hyper-parameters to tune for optimal performance beyond the standard set for training neural networks. Reference code and data are available at
updated: Thu Nov 21 2019 08:30:43 GMT+0000 (UTC)
published: Tue Jun 25 2019 06:42:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト