arXiv reaDer
Revisiting Fine-tuning for Few-shot Learning
  数発学習は、ほんの数例を使用して新しいクラスを学習するプロセスであり、機械学習では依然として困難な課題です。多くの洗練された少数ショット学習アルゴリズムは、ネットワークが少数の例を使用して単純に微調整されている場合、ネットワークが新規の例に容易にオーバーフィットできるという概念に基づいて提案されています。この研究では、一般的に使用される低解像度のミニImageNetデータセットで、微調整方法が1ショットタスクの一般的な少数ショット学習アルゴリズムよりも高い精度を達成し、状態とほぼ同じ精度を達成することを示します。 5ショットタスクの最先端のアルゴリズム。次に、より実用的なタスク、つまり高解像度の単一ドメインタスクとクロスドメインタスクでメソッドを評価します。両方のタスクで、私たちの方法が一般的な少数ショット学習アルゴリズムよりも高い精度を達成することを示します。さらに実験結果を分析し、1)低学習率を採用することで再トレーニングプロセスを安定化できること、2)微調整中に適応勾配オプティマイザーを使用するとテストの精度を向上できること、3)更新によりテストの精度が向上することを示す基本クラスと新規クラスの間に大きなドメインシフトが存在する場合のネットワーク全体。
Few-shot learning is the process of learning novel classes using only a few examples and it remains a challenging task in machine learning. Many sophisticated few-shot learning algorithms have been proposed based on the notion that networks can easily overfit to novel examples if they are simply fine-tuned using only a few examples. In this study, we show that in the commonly used low-resolution mini-ImageNet dataset, the fine-tuning method achieves higher accuracy than common few-shot learning algorithms in the 1-shot task and nearly the same accuracy as that of the state-of-the-art algorithm in the 5-shot task. We then evaluate our method with more practical tasks, namely the high-resolution single-domain and cross-domain tasks. With both tasks, we show that our method achieves higher accuracy than common few-shot learning algorithms. We further analyze the experimental results and show that: 1) the retraining process can be stabilized by employing a low learning rate, 2) using adaptive gradient optimizers during fine-tuning can increase test accuracy, and 3) test accuracy can be improved by updating the entire network when a large domain-shift exists between base and novel classes.
updated: Thu Oct 03 2019 04:53:10 GMT+0000 (UTC)
published: Tue Oct 01 2019 06:21:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト