この論文では、いくつかのラベル付けされたサンプルから、これまでに見られなかったクラスとドメインの分類器を学習することを目的とした、数ショット分類の問題に注目します。最近の方法では、適応ネットワークを使用して、機能を新しいドメインに合わせたり、複数のドメイン固有の機能抽出機能から関連する機能を選択したりしています。この作業では、アダプターと中央揃えのカーネルアライメントを使用して機能を調整した後、個別にトレーニングされた複数のネットワークの知識を抽出することにより、ユニバーサルディープ表現の単一セットを学習することを提案します。遠隔教育法と同様の精神で効率的な適応ステップにより、これまで見られなかったドメインの普遍的な表現をさらに洗練できることを示します。最近のメタデータセットベンチマークでモデルを厳密に評価し、以前の方法を大幅に上回り、効率が高いことを示しています。私たちのコードはhttps://github.com/VICO-UoE/URLで入手できます。
In this paper, we look at the problem of few-shot classification that aims to learn a classifier for previously unseen classes and domains from few labeled samples. Recent methods use adaptation networks for aligning their features to new domains or select the relevant features from multiple domain-specific feature extractors. In this work, we propose to learn a single set of universal deep representations by distilling knowledge of multiple separately trained networks after co-aligning their features with the help of adapters and centered kernel alignment. We show that the universal representations can be further refined for previously unseen domains by an efficient adaptation step in a similar spirit to distance learning methods. We rigorously evaluate our model in the recent Meta-Dataset benchmark and demonstrate that it significantly outperforms the previous methods while being more efficient. Our code will be available at https://github.com/VICO-UoE/URL.