arXiv reaDer
Charting the Right Manifold: Manifold Mixup for Few-shot Learning
 いくつかのショット学習アルゴリズムは、ラベルの付いたほんの数例の助けを借りて、目に見えないクラスに適応できるモデルパラメーターを学習することを目的としています。最近の正則化手法-Manifold Mixupは、データ分布の小さな変化に対して堅牢な汎用表現の学習に焦点を当てています。数ショット学習の目標は堅牢な表現学習と密接に関連しているため、この問題設定で多様体混合を研究します。自己教師付き学習は、データの固有の構造のみを使用して、意味的に意味のある機能を学習する別の手法です。この作業では、自己監視および正則化手法を使用して、少数ショットタスクの関連機能多様体を学習する役割を調査します。 Manifold Mixupを使用して、自己監視型手法で強化された機能多様体を正則化すると、少数ショット学習のパフォーマンスが大幅に向上することがわかります。提案されたメソッドS2M2が、CIFAR-FS、CUB、mini-ImageNet、tiered-ImageNetなどの標準的な少数ショット学習データセットの現在の最先端の精度を3-8%上回ることを示します。広範な実験を通じて、このアプローチを使用して学習した機能が、複雑な少数ショット評価タスク、クロスドメインシナリオに一般化され、データ分布のわずかな変更に対して堅牢であることを示します。
Few-shot learning algorithms aim to learn model parameters capable of adapting to unseen classes with the help of only a few labeled examples. A recent regularization technique - Manifold Mixup focuses on learning a general-purpose representation, robust to small changes in the data distribution. Since the goal of few-shot learning is closely linked to robust representation learning, we study Manifold Mixup in this problem setting. Self-supervised learning is another technique that learns semantically meaningful features, using only the inherent structure of the data. This work investigates the role of learning relevant feature manifold for few-shot tasks using self-supervision and regularization techniques. We observe that regularizing the feature manifold, enriched via self-supervised techniques, with Manifold Mixup significantly improves few-shot learning performance. We show that our proposed method S2M2 beats the current state-of-the-art accuracy on standard few-shot learning datasets like CIFAR-FS, CUB, mini-ImageNet and tiered-ImageNet by 3-8 %. Through extensive experimentation, we show that the features learned using our approach generalize to complex few-shot evaluation tasks, cross-domain scenarios and are robust against slight changes to data distribution.
updated: Sat Jan 18 2020 20:01:55 GMT+0000 (UTC)
published: Sun Jul 28 2019 14:14:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト