転移学習により、ソースタスクで学習した知識を再利用して、ターゲットタスクの学習に役立てることができます。転送学習の単純な形式は、現在の最先端のコンピュータービジョンモデルで一般的です。つまり、ILSVRCデータセットで画像分類のためにモデルを事前トレーニングしてから、任意のターゲットタスクで微調整します。しかし、これまでの転移学習の体系的な研究は限られており、それが機能すると予想される状況は完全には理解されていません。この論文では、非常に異なる画像ドメイン(消費者の写真、自動運転、航空写真、水中、屋内シーン、合成、クローズアップ)およびタスクタイプ(セマンティックセグメンテーション、オブジェクト検出、深度)にわたる伝達学習の広範な実験的調査を実行します。推定、キーポイント検出)。重要なことに、これらはすべて、最新のコンピュータービジョンアプリケーションに関連する複雑で構造化された出力タスクタイプです。ソースとターゲットが異なる画像ドメイン、タスクタイプ、またはその両方に由来する多くの実験を含め、合計で2000を超える転移学習実験を実施しています。これらの実験を体系的に分析して、画像ドメイン、タスクタイプ、データセットサイズが転移学習のパフォーマンスに与える影響を理解します。私たちの研究は、いくつかの洞察と具体的な推奨事項につながります。(1)ほとんどのタスクについて、ILSVRC'12の事前トレーニングを大幅に上回るソースが存在します。 (2)イメージドメインは、ポジティブ転送を実現するための最も重要な要素です。 (3)最良の結果を得るには、ソースデータセットにターゲットデータセットの画像ドメインを含める必要があります。 (4)同時に、ソースタスクの画像ドメインがターゲットの画像ドメインよりもはるかに広い場合、わずかな悪影響しか観察されません。 (5)タスクタイプ間での転送は有益な場合がありますが、その成功はソースタスクタイプとターゲットタスクタイプの両方に大きく依存します。
Transfer learning enables to re-use knowledge learned on a source task to help learning a target task. A simple form of transfer learning is common in current state-of-the-art computer vision models, i.e. pre-training a model for image classification on the ILSVRC dataset, and then fine-tune on any target task. However, previous systematic studies of transfer learning have been limited and the circumstances in which it is expected to work are not fully understood. In this paper we carry out an extensive experimental exploration of transfer learning across vastly different image domains (consumer photos, autonomous driving, aerial imagery, underwater, indoor scenes, synthetic, close-ups) and task types (semantic segmentation, object detection, depth estimation, keypoint detection). Importantly, these are all complex, structured output tasks types relevant to modern computer vision applications. In total we carry out over 2000 transfer learning experiments, including many where the source and target come from different image domains, task types, or both. We systematically analyze these experiments to understand the impact of image domain, task type, and dataset size on transfer learning performance. Our study leads to several insights and concrete recommendations: (1) for most tasks there exists a source which significantly outperforms ILSVRC'12 pre-training; (2) the image domain is the most important factor for achieving positive transfer; (3) the source dataset should include the image domain of the target dataset to achieve best results; (4) at the same time, we observe only small negative effects when the image domain of the source task is much broader than that of the target; (5) transfer across task types can be beneficial, but its success is heavily dependent on both the source and target task types.