arXiv reaDer
HyperShot:カーネルハイパーネットワークによる少数のショット学習
HyperShot: Few-Shot Learning by Kernel HyperNetworks
少数のショットモデルは、特定のタスクからの最小限の数のラベル付きの例を使用して予測を行うことを目的としています。この領域での主な課題は、各クラスを表す要素が1つだけのワンショット設定です。カーネルとハイパーネットワークパラダイムの融合であるHyperShotを提案します。パラメータの勾配ベースの調整を適用する参照アプローチと比較して、私たちのモデルは、タスクの埋め込みに応じて分類モジュールのパラメータを切り替えることを目的としています。実際には、ハイパーネットワークを利用します。ハイパーネットワークは、サポートデータから集約された情報を取得し、考慮された問題に対して手作りされた分類器のパラメーターを返します。さらに、分類モジュールのパラメーターを作成するためにハイパーネットワークに提供されるサポート例のカーネルベースの表現を紹介します。したがって、バックボーンモデルによって提供される直接的な機能値ではなく、サポート例の埋め込み間の関係に依存します。このアプローチのおかげで、私たちのモデルは非常に異なるタスクに適応できます。
Few-shot models aim at making predictions using a minimal number of labeled examples from a given task. The main challenge in this area is the one-shot setting where only one element represents each class. We propose HyperShot - the fusion of kernels and hypernetwork paradigm. Compared to reference approaches that apply a gradient-based adjustment of the parameters, our model aims to switch the classification module parameters depending on the task's embedding. In practice, we utilize a hypernetwork, which takes the aggregated information from support data and returns the classifier's parameters handcrafted for the considered problem. Moreover, we introduce the kernel-based representation of the support examples delivered to hypernetwork to create the parameters of the classification module. Consequently, we rely on relations between embeddings of the support examples instead of direct feature values provided by the backbone models. Thanks to this approach, our model can adapt to highly different tasks.
updated: Mon Mar 21 2022 22:46:46 GMT+0000 (UTC)
published: Mon Mar 21 2022 22:46:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト