arXiv reaDer
スタッキングを使用したクロスドメインの数ショットのメタ学習
Cross-domain Few-shot Meta-learning Using Stacking
クロスドメイン数ショットメタ学習(CDFSML)は、知識を複数のソースドメインから、明示的に異なる入力分布を持つインスタンスの少ないターゲットドメインに転送する必要がある学習の問題に対処します。最近公開されたCDFSMLメソッドは、一般に、複数のソースドメインの知識を1つのバックボーン特徴抽出器に結合する「ユニバーサルモデル」を構築します。これにより、効率的な推論が可能になりますが、新しいソースドメインが追加されるたびに、バックボーンの再計算が必要になります。さらに、最先端の方法では、バックボーンのコレクション(通常はソースドメインごとに1つ)からユニバーサルモデルを導出します。バックボーンは、ユニバーサルモデルと同じアーキテクチャを持つように制約される場合があります。メタ学習への古典的なスタッキングアプローチに触発されたCDFSMLメソッドを提案します。バックボーンのアーキテクチャや機能の形状に制約を課すことはなく、ユニバーサルモデルを(再)計算するための計算オーバーヘッドは発生しません。ターゲットドメインタスクが与えられると、各バックボーンを個別に微調整し、相互検証を使用してタスクのインスタンスが不足しているサポートセットからメタトレーニングデータを抽出し、このデータから単純な線形メタ分類器を学習します。よく知られているメタデータセットベンチマークでスタッキングアプローチを評価し、畳み込みニューラルネットワークを使用して画像分類をターゲットにし、競合する方法よりも大幅に高い精度が得られることが多いことを示しています。
Cross-domain few-shot meta-learning (CDFSML) addresses learning problems where knowledge needs to be transferred from several source domains into an instance-scarce target domain with an explicitly different input distribution. Recently published CDFSML methods generally construct a "universal model" that combines knowledge of multiple source domains into one backbone feature extractor. This enables efficient inference but necessitates re-computation of the backbone whenever a new source domain is added. Moreover, state-of-the-art methods derive their universal model from a collection of backbones -- normally one for each source domain -- and the backbones may be constrained to have the same architecture as the universal model. We propose a CDFSML method that is inspired by the classic stacking approach to meta learning. It imposes no constraints on the backbones' architecture or feature shape and does not incur the computational overhead of (re-)computing a universal model. Given a target-domain task, it fine-tunes each backbone independently, uses cross-validation to extract meta training data from the task's instance-scarce support set, and learns a simple linear meta classifier from this data. We evaluate our stacking approach on the well-known Meta-Dataset benchmark, targeting image classification with convolutional neural networks, and show that it often yields substantially higher accuracy than competing methods.
updated: Thu May 12 2022 01:54:22 GMT+0000 (UTC)
published: Thu May 12 2022 01:54:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト