arXiv reaDer
オブジェクト形状バイアスの増加を伴う教師なし視覚表現学習
Unsupervised Visual Representation Learning with Increasing Object Shape Bias
 (非常に初期のドラフト)従来の教師あり学習は、コンボリューションニューラルネットワーク(CNN)を押し続け、最先端のパフォーマンスを実現します。ただし、大規模な注釈データの欠如は、そのコストが高いため、常に大きな問題です。ImageNetデータセットでさえ、現在、複雑なモデルによって過剰に適合しています。自然言語処理(NLP)分野のバートモデルによって表される教師なし学習方法の成功は、その大きな可能性を示しています。そして、無制限のトレーニングサンプルが可能になり、優れた普遍的な一般化能力がNLPの研究の方向を直接変えます。この記事では、対照的な予測コーディングに基づく新しい教師なし学習方法を目的としています。その下で、非注釈画像を使用してモデルをトレーニングし、モデルのパフォーマンスを改善して、同じレベルのモデルの複雑さで最先端のパフォーマンスを達成できます。それに加えて、トレーニング画像の数は無制限に増幅される可能性があるため、将来、普遍的な大規模な事前トレーニングされたコンピュータービジョンモデルが可能になります。
(Very early draft)Traditional supervised learning keeps pushing convolution neural network(CNN) achieving state-of-art performance. However, lack of large-scale annotation data is always a big problem due to the high cost of it, even ImageNet dataset is over-fitted by complex models now. The success of unsupervised learning method represented by the Bert model in natural language processing(NLP) field shows its great potential. And it makes that unlimited training samples becomes possible and the great universal generalization ability changes NLP research direction directly. In this article, we purpose a novel unsupervised learning method based on contrastive predictive coding. Under that, we are able to train model with any non-annotation images and improve model's performance to reach state-of-art performance at the same level of model complexity. Beside that, since the number of training images could be unlimited amplification, an universal large-scale pre-trained computer vision model is possible in the future.
updated: Sun Nov 24 2019 02:48:05 GMT+0000 (UTC)
published: Sun Nov 17 2019 16:26:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト