arXiv reaDer
フロスト:より速く、より堅牢なワンショット半教師ありトレーニング
FROST: Faster and more Robust One-shot Semi-supervised Training
ワンショット半教師あり学習の最近の進歩により、新しいアプリケーションの深層学習の障壁が低くなりました。ただし、半教師あり学習の最先端技術はトレーニングに時間がかかり、パフォーマンスはラベル付けされたデータとハイパーパラメータ値の選択に敏感です。このホワイトペーパーでは、最先端の方法よりも1桁速くトレーニングし、より堅牢なワンショット半教師あり学習方法を紹介します。具体的には、半教師あり学習と1段階の単一ネットワークバージョンの自己トレーニングを組み合わせることで、FROST方法論がより高速にトレーニングされ、ラベル付きサンプルの選択やハイパーパラメーターの変更に対してより堅牢になることを示します。私たちの実験は、ラベルのないデータの構成が不明な場合に、FROSTがうまく機能することを示しています。つまり、ラベルのないデータに各クラスの数が等しくなく、どのトレーニングクラスにも属していない配布外の例が含まれている可能性があります。高性能、トレーニングの速度、およびハイパーパラメータに対する感度の低さにより、FROSTはワンショット半教師ありトレーニングの最も実用的な方法になっています。
Recent advances in one-shot semi-supervised learning have lowered the barrier for deep learning of new applications. However, the state-of-the-art for semi-supervised learning is slow to train and the performance is sensitive to the choices of the labeled data and hyper-parameter values. In this paper, we present a one-shot semi-supervised learning method that trains up to an order of magnitude faster and is more robust than state-of-the-art methods. Specifically, we show that by combining semi-supervised learning with a one-stage, single network version of self-training, our FROST methodology trains faster and is more robust to choices for the labeled samples and changes in hyper-parameters. Our experiments demonstrate FROST's capability to perform well when the composition of the unlabeled data is unknown; that is when the unlabeled data contain unequal numbers of each class and can contain out-of-distribution examples that don't belong to any of the training classes. High performance, speed of training, and insensitivity to hyper-parameters make FROST the most practical method for one-shot semi-supervised training.
updated: Fri Nov 20 2020 11:29:58 GMT+0000 (UTC)
published: Wed Nov 18 2020 18:56:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト