arXiv reaDer
Data-Efficient Image Recognition with Contrastive Predictive Coding
人間の観測者は、少数の例から新しいカテゴリの画像を認識することを学ぶことができますが、人工的なものでそれを行うことは未解決の課題です。自然信号の変動をより予測可能にする表現により、データ効率の高い認識が可能になると仮定します。そのため、そのような表現を学習するための教師なしの目的であるContrastive Predictive Codingを再検討して改善します。この新しい実装は、ImageNetデータセットで最先端の線形分類精度をサポートする機能を生成します。ディープニューラルネットワークでの非線形分類の入力として使用すると、この表現により、画像ピクセルで直接トレーニングされた分類子よりも2〜5倍少ないラベルを使用できます。最後に、この教師なしの表現は、PASCAL VOCデータセットのオブジェクト検出への転移学習を大幅に改善し、完全に教師付きの事前トレーニング済みImageNet分類器を上回ります。
Human observers can learn to recognize new categories of images from a handful of examples, yet doing so with artificial ones remains an open challenge. We hypothesize that data-efficient recognition is enabled by representations which make the variability in natural signals more predictable. We therefore revisit and improve Contrastive Predictive Coding, an unsupervised objective for learning such representations. This new implementation produces features which support state-of-the-art linear classification accuracy on the ImageNet dataset. When used as input for non-linear classification with deep neural networks, this representation allows us to use 2-5x less labels than classifiers trained directly on image pixels. Finally, this unsupervised representation substantially improves transfer learning to object detection on the PASCAL VOC dataset, surpassing fully supervised pre-trained ImageNet classifiers.
updated: Wed Jul 01 2020 11:22:05 GMT+0000 (UTC)
published: Wed May 22 2019 17:57:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト