事前にトレーニングされたディープネットは、ニューラルネットの精度とトレーニング時間を改善するために一般的に使用されます。一般に、最適なソースタスクのパフォーマンスを得るためにネットを事前トレーニングすることで、任意のターゲットタスクを学習する準備が整うと考えられています。これは一般的に真実ではありません。最適なパフォーマンスの前にソースタスクのトレーニングを停止すると、新しいタスクの学習により適した事前トレーニング済みのネットを作成できます。この効果と、トレーニング量と学習率の影響を示すいくつかの実験を行いました。さらに、これは、ソースタスクの再学習にまで及ぶ学習能力の一般的な喪失を反映していることを示しています
Pre-trained deep nets are commonly used to improve accuracies and training times for neural nets. It is generally assumed that pre-training a net for optimal source task performance best prepares it to learn an arbitrary target task. This is generally not true. Stopping source task training, prior to optimal performance, can create a pre-trained net better suited for learning a new task. We performed several experiments demonstrating this effect, as well as the influence of amount of training and of learning rate. Additionally, we show that this reflects a general loss of learning ability that even extends to relearning the source task