事前にトレーニングされたディープネットの微調整は、ニューラルネットの精度とトレーニング時間を改善するために一般的に使用されます。一般に、最適なソースタスクパフォーマンスのためにネットを事前トレーニングすることで、任意のターゲットタスクを学習するための微調整のためにネットを準備するのが最善であると想定されています。これは一般的に真実ではありません。最適なパフォーマンスの前にソースタスクのトレーニングを停止すると、新しいタスクを学習するための微調整に適した事前トレーニング済みのネットを作成できます。この効果と、トレーニング量および学習率の影響を示すいくつかの実験を実行します。さらに、私たちの結果は、これがソースタスクの再学習にまで及ぶ学習能力の一般的な喪失を反映していることを示しています。
Fine-tuning of pre-trained deep nets is commonly used to improve accuracies and training times for neural nets. It is generally assumed that pre-training a net for optimal source task performance best prepares it for fine-tuning to learn an arbitrary target task. This is generally not true. Stopping source task training, prior to optimal performance, can create a pre-trained net better suited for fine-tuning to learn a new task. We perform several experiments demonstrating this effect, as well as the influence of the amount of training and of learning rate. Additionally, our results indicate that this reflects a general loss of learning ability that even extends to relearning the source task.