arXiv reaDer
MetaKernel:限定されたラベルで変分ランダム機能を学習する
MetaKernel: Learning Variational Random Features with Limited Labels
いくつかのショット学習は、新しいタスクをうまく一般化できる一方で、いくつかの注釈付きサンプルから学習するという根本的で困難な問題を扱います。数回の学習の要点は、関連するタスクから事前の知識を抽出して、限られた量のデータで新しいタスクにすばやく適応できるようにすることです。この論文では、数ショット学習のためのランダムフーリエ機能を備えたメタ学習カーネルを提案します。これをメタカーネルと呼びます。具体的には、メタ学習設定で関連タスクによって提供される共有知識を活用することにより、タスク固有のカーネルを取得するために、データ駆動型の方法で変分ランダム機能を学習することを提案します。ランダム特徴基底を潜在変数として扱います。潜在変数は、変分推論によって推定されます。関連するタスクからの共有された知識は、後部のコンテキスト推論に組み込まれます。これは、長短期記憶モジュールを介して達成されます。より表現力豊かなカーネルを確立するために、結合層に基づく条件付き正規化フローを展開して、ランダムなフーリエベースでより豊かな事後分布を実現します。結果として得られるカーネルは、より有益で識別力があり、数ショットの学習をさらに改善します。私たちの方法を評価するために、私たちは数ショットの画像分類と回帰タスクの両方で広範な実験を行います。徹底的なアブレーション研究は、私たちの方法で導入された各コンポーネントの有効性を示しています。 14のデータセットのベンチマーク結果は、MetaKernelが、最先端の代替手段よりも少なくとも同等で、多くの場合、より優れたパフォーマンスを一貫して提供することを示しています。
Few-shot learning deals with the fundamental and challenging problem of learning from a few annotated samples, while being able to generalize well on new tasks. The crux of few-shot learning is to extract prior knowledge from related tasks to enable fast adaptation to a new task with a limited amount of data. In this paper, we propose meta-learning kernels with random Fourier features for few-shot learning, we call MetaKernel. Specifically, we propose learning variational random features in a data-driven manner to obtain task-specific kernels by leveraging the shared knowledge provided by related tasks in a meta-learning setting. We treat the random feature basis as the latent variable, which is estimated by variational inference. The shared knowledge from related tasks is incorporated into a context inference of the posterior, which we achieve via a long-short term memory module. To establish more expressive kernels, we deploy conditional normalizing flows based on coupling layers to achieve a richer posterior distribution over random Fourier bases. The resultant kernels are more informative and discriminative, which further improves the few-shot learning. To evaluate our method, we conduct extensive experiments on both few-shot image classification and regression tasks. A thorough ablation study demonstrates that the effectiveness of each introduced component in our method. The benchmark results on fourteen datasets demonstrate MetaKernel consistently delivers at least comparable and often better performance than state-of-the-art alternatives.
updated: Sat May 08 2021 21:24:09 GMT+0000 (UTC)
published: Sat May 08 2021 21:24:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト