事前にトレーニングされたモデルの増加により、転送学習を使用した限られたデータタスクのパフォーマンスが大幅に向上しました。ただし、転移学習の進歩は、主に事前トレーニング済みモデルの重みの最適化に焦点を合わせており、モデルとターゲットタスク間の構造の不一致を無視しています。このホワイトペーパーでは、別の角度から転送パフォーマンスを向上させることを目的としています。ウェイトの調整に加えて、ターゲットタスクによりよく一致するように、事前にトレーニングされたモデルの構造を調整します。この目的のために、転送学習を改善するために事前トレーニング済みモデルを剪定することを目的としたTransTailorを提案します。従来のプルーニングパイプラインとは異なり、ターゲットを意識した重みの重要性に応じて事前トレーニング済みモデルをプルーニングおよび微調整し、特定のターゲットタスクに合わせた最適なサブモデルを生成します。このようにして、微調整中に適用できるより適切な下部構造を転送して、最終的なパフォーマンスを向上させます。事前にトレーニングされた複数のモデルとデータセットでの広範な実験により、TransTailorは従来の剪定方法よりも優れており、より小さなモデルを使用しながら、他の最先端の転送学習方法よりも競争力のある、またはさらに優れたパフォーマンスを実現します。特に、Stanford Dogsデータセットでは、TransTailorは、FLOPが20%少ない他の転送方法に比べて、2.7%の精度向上を実現できます。
The increasing of pre-trained models has significantly facilitated the performance on limited data tasks with transfer learning. However, progress on transfer learning mainly focuses on optimizing the weights of pre-trained models, which ignores the structure mismatch between the model and the target task. This paper aims to improve the transfer performance from another angle - in addition to tuning the weights, we tune the structure of pre-trained models, in order to better match the target task. To this end, we propose TransTailor, targeting at pruning the pre-trained model for improved transfer learning. Different from traditional pruning pipelines, we prune and fine-tune the pre-trained model according to the target-aware weight importance, generating an optimal sub-model tailored for a specific target task. In this way, we transfer a more suitable sub-structure that can be applied during fine-tuning to benefit the final performance. Extensive experiments on multiple pre-trained models and datasets demonstrate that TransTailor outperforms the traditional pruning methods and achieves competitive or even better performance than other state-of-the-art transfer learning methods while using a smaller model. Notably, on the Stanford Dogs dataset, TransTailor can achieve 2.7% accuracy improvement over other transfer methods with 20% fewer FLOPs.