ディープラーニングは、データ集約型のアプリケーションで広く使用されています。ただし、ディープニューラルネットワークのトレーニングには、多くの場合、大規模なデータセットが必要です。トレーニングに利用できる十分なデータがない場合、深層学習モデルのパフォーマンスは浅いネットワークのパフォーマンスよりもさらに悪くなります。数ショットの学習は、少数のトレーニングサンプルで新しいタスクに一般化できることが証明されています。ディープモデルの微調整は、シンプルで効果的な数ショットの学習方法です。ただし、深層学習モデルを微調整する方法(畳み込み層またはBN層を微調整しますか?)は、まだ詳細な調査が不足しています。したがって、この論文では、実験的な比較を通じて、深いモデルを微調整する方法を研究します。さらに、モデルの重みを分析して、微調整方法の実現可能性を検証します。
Deep learning has been widely used in data-intensive applications. However, training a deep neural network often requires a large data set. When there is not enough data available for training, the performance of deep learning models is even worse than that of shallow networks. It has been proved that few-shot learning can generalize to new tasks with few training samples. Fine-tuning of a deep model is simple and effective few-shot learning method. However, how to fine-tune deep learning models (fine-tune convolution layer or BN layer?) still lack deep investigation. Hence, we study how to fine-tune deep models through experimental comparison in this paper. Furthermore, the weight of the models is analyzed to verify the feasibility of the fine-tuning method.