ディープラーニングモデルを成功させるには、広範なトレーニングデータと処理能力と時間(トレーニングコストと呼ばれる)が必要です。深層学習モデルをトレーニングするのに十分な数のラベル付きデータがない場合、多くのタスクが存在します。さらに、処理能力とトレーニング時間が限られているエッジデバイスでディープラーニングモデルを実行することへの需要が高まっています。ディープトランスファーラーニング(DTL)メソッドは、このような制限に取り組むための答えです。たとえば、大規模な半関連データセットで事前トレーニングされたモデルを微調整することは、多くの問題に対してシンプルで効果的なメソッドであることが証明されています。 DTLは、限られたターゲットデータの懸念を処理するだけでなく、トレーニングコストを大幅に削減します。この論文では、深層伝達学習の定義と分類法をレビューします。次に、ネットワークベースのDTLのサブカテゴリに焦点を当てます。これは、過去10年間にさまざまなアプリケーションに適用されてきた最も一般的なタイプのDTLであるためです。
A successful deep learning model is dependent on extensive training data and processing power and time (known as training costs). There exist many tasks without enough number of labeled data to train a deep learning model. Further, the demand is rising for running deep learning models on edge devices with limited processing capacity and training time. Deep transfer learning (DTL) methods are the answer to tackle such limitations, e.g., fine-tuning a pre-trained model on a massive semi-related dataset proved to be a simple and effective method for many problems. DTLs handle limited target data concerns as well as drastically reduce the training costs. In this paper, the definition and taxonomy of deep transfer learning is reviewed. Then we focus on the sub-category of network-based DTLs since it is the most common types of DTLs that have been applied to various applications in the last decade.