arXiv reaDer
メタナビゲーター:少数のショットの学習のための適切な適応ポリシーの検索
Meta Navigator: Search for a Good Adaptation Policy for Few-shot Learning
少数ショット学習は、以前のタスクから学習した知識を、限られた量のラベル付きデータのみを使用して新しいタスクに適応させることを目的としています。数ショット学習に関する研究文献は非常に多様性を示していますが、さまざまなアルゴリズムがさまざまな数ショット学習シナリオで優れていることがよくあります。したがって、さまざまなタスク条件下で使用する学習戦略を決定するのは難しいです。自動機械学習の文献(AutoML)での最近の成功に触発されて、このペーパーでは、メタナビゲーターを紹介します。これは、より高いレベルの戦略を模索し、選択を自動化することで、数回の学習における前述の制限を解決しようとするフレームワークです。さまざまな数ショットの学習デザインから。私たちの仕事の目標は、数ショットの分類のためにネットワークのさまざまな段階に適用される優れたパラメータ適応ポリシーを検索することです。文献で人気のある数ショット学習アルゴリズムの多くをカバーする検索スペースを提示し、勾配ベースの最適化をサポートするメタ学習に基づく微分可能な検索およびデコードアルゴリズムを開発します。複数のベンチマークデータセットに対する検索ベースの方法の有効性を示します。広範な実験により、私たちのアプローチはベースラインを大幅に上回り、多くの最先端の方法よりもパフォーマンスが優れていることが示されています。コードとモデルは公開されます。
Few-shot learning aims to adapt knowledge learned from previous tasks to novel tasks with only a limited amount of labeled data. Research literature on few-shot learning exhibits great diversity, while different algorithms often excel at different few-shot learning scenarios. It is therefore tricky to decide which learning strategies to use under different task conditions. Inspired by the recent success in Automated Machine Learning literature (AutoML), in this paper, we present Meta Navigator, a framework that attempts to solve the aforementioned limitation in few-shot learning by seeking a higher-level strategy and proffer to automate the selection from various few-shot learning designs. The goal of our work is to search for good parameter adaptation policies that are applied to different stages in the network for few-shot classification. We present a search space that covers many popular few-shot learning algorithms in the literature and develop a differentiable searching and decoding algorithm based on meta-learning that supports gradient-based optimization. We demonstrate the effectiveness of our searching-based method on multiple benchmark datasets. Extensive experiments show that our approach significantly outperforms baselines and demonstrates performance advantages over many state-of-the-art methods. Code and models will be made publicly available.
updated: Mon Sep 13 2021 07:20:01 GMT+0000 (UTC)
published: Mon Sep 13 2021 07:20:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト