arXiv reaDer
Semi-Supervised Learning with Scarce Annotations
 半教師あり学習(SSL)アルゴリズムは、ラベル付きデータとラベルなしデータの両方を使用する効率的な方法を提供しますが、注釈付きサンプルの数が非常に少ない場合、一般的に苦労します。この作業では、ラベル付きインスタンスがほとんどないSSLマルチクラス分類の問題を検討します。 2つの重要なアイデアを紹介します。 1つ目はシンプルですが効果的な方法です。さまざまなタスク間の転送学習と自己監視の力を活用して、ラベルを使用せずにデータの適切な表現を初期化します。 2番目のアイデアは、SSLの新しいアルゴリズムで、このような事前トレーニング済みの表現をうまく活用できます。このアルゴリズムは、2つのフェーズを交互に実行することで機能します。1つはラベル付きポイントに当てはまり、もう1つはラベルなしポイントに当てはめ、それらの間の情報フローを注意深く制御します。利点は、ラベル付けされたデータの過剰適合を大幅に減らし、トレーニング中のラベル付けされた損失とラベル付けされていない損失のバランスの問題を回避することです。この方法では、クラスごとにわずか10個のラベル付きデータポイントで競合モデルを正常にトレーニングできることを経験的に示しています。より一般的には、自己監視学習を使用したブートストラップ機能のアイデアにより、標準ベンチマークで常にSSLが向上することを示しています。他のタスクまたはデータセットから精製する場合、他の方法と比較してアルゴリズムがうまく機能することを示しています。
While semi-supervised learning (SSL) algorithms provide an efficient way to make use of both labelled and unlabelled data, they generally struggle when the number of annotated samples is very small. In this work, we consider the problem of SSL multi-class classification with very few labelled instances. We introduce two key ideas. The first is a simple but effective one: we leverage the power of transfer learning among different tasks and self-supervision to initialize a good representation of the data without making use of any label. The second idea is a new algorithm for SSL that can exploit well such a pre-trained representation. The algorithm works by alternating two phases, one fitting the labelled points and one fitting the unlabelled ones, with carefully-controlled information flow between them. The benefits are greatly reducing overfitting of the labelled data and avoiding issue with balancing labelled and unlabelled losses during training. We show empirically that this method can successfully train competitive models with as few as 10 labelled data points per class. More in general, we show that the idea of bootstrapping features using self-supervised learning always improves SSL on standard benchmarks. We show that our algorithm works increasingly well compared to other methods when refining from other tasks or datasets.
updated: Tue Apr 21 2020 21:20:30 GMT+0000 (UTC)
published: Tue May 21 2019 19:41:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト