arXiv reaDer
グローバルな関連性が分離された数ショットの学習-蒸留
Few-shot Learning with Global Relatedness Decoupled-Distillation
メトリック学習ベースのアプローチが数ショット学習で達成した成功にもかかわらず、最近の研究は、エピソードトレーニングモードの非効率性を明らかにしています。このホワイトペーパーでは、この問題の2つの潜在的な理由を指摘します。1)ランダムなエピソードラベルは限られた監視情報しか提供できませんが、クエリとサポートサンプル間の関連性情報は十分に活用されていません。 2)メタ学習者は通常、ローカルエピソードの限られたコンテキスト情報によって制約されます。これらの問題を克服するために、グローバルカテゴリの知識と関連性分離蒸留(RDD)戦略を使用して、新しいグローバル関連性分離蒸留(GRDD)メソッドを提案します。私たちのGRDDは、人間の習慣を模倣することによって、つまり教師から抽出された深い知識から学ぶことによって、新しい視覚的概念をすばやく学習します。より具体的には、最初に、カテゴリのグローバルコンテキスト情報を活用するための監視としてカテゴリラベルを使用して、ベースサブセット全体でグローバル学習者をトレーニングします。次に、十分にトレーニングされたグローバルラーナーを使用して、グローバル依存関係におけるクエリサポートの関連性をシミュレートします。最後に、蒸留されたグローバルクエリサポートの関連性は、メタ学習者をより識別力のあるものにすることを目的として、RDD戦略を使用してメタ学習者をトレーニングするために明示的に使用されます。 RDD戦略は、密なクエリサポートの関連性を疎な分離された関連性のグループに分離することを目的としています。さらに、各グループでは、単一のサポートサンプルと他のクエリサンプルとの関連性のみが考慮されます。疎な分離された関連性をグループごとに抽出することにより、より鋭い関連性をメタ学習者に効果的に抽出することができ、それによって識別可能なメタ学習者の学習が容易になります。 miniImagenetおよびCIFAR-FSデータセットで広範な実験を実施し、GRDDメソッドの最先端のパフォーマンスを示しています。
Despite the success that metric learning based approaches have achieved in few-shot learning, recent works reveal the ineffectiveness of their episodic training mode. In this paper, we point out two potential reasons for this problem: 1) the random episodic labels can only provide limited supervision information, while the relatedness information between the query and support samples is not fully exploited; 2) the meta-learner is usually constrained by the limited contextual information of the local episode. To overcome these problems, we propose a new Global Relatedness Decoupled-Distillation (GRDD) method using the global category knowledge and the Relatedness Decoupled-Distillation (RDD) strategy. Our GRDD learns new visual concepts quickly by imitating the habit of humans, i.e. learning from the deep knowledge distilled from the teacher. More specifically, we first train a global learner on the entire base subset using category labels as supervision to leverage the global context information of the categories. Then, the well-trained global learner is used to simulate the query-support relatedness in global dependencies. Finally, the distilled global query-support relatedness is explicitly used to train the meta-learner using the RDD strategy, with the goal of making the meta-learner more discriminative. The RDD strategy aims to decouple the dense query-support relatedness into the groups of sparse decoupled relatedness. Moreover, only the relatedness of a single support sample with other query samples is considered in each group. By distilling the sparse decoupled relatedness group by group, sharper relatedness can be effectively distilled to the meta-learner, thereby facilitating the learning of a discriminative meta-learner. We conduct extensive experiments on the miniImagenet and CIFAR-FS datasets, which show the state-of-the-art performance of our GRDD method.
updated: Mon Jul 12 2021 17:01:11 GMT+0000 (UTC)
published: Mon Jul 12 2021 17:01:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト