arXiv reaDer
P2L: Predicting Transfer Learning for Images and Semantic Relations
転移学習は、適切に選択されている場合、以前に学習した表現を活用することにより、タスク間の学習を強化します。新しい学習タスクで使用するために、以前にトレーニングされたモデルの適切性を正確に推定するための効率的な方法について説明します。 「PredictToLearn」(「P2L」)と呼ばれるこの尺度を、画像と意味関係の2つの非常に異なるドメインで使用します。ここでは、一連の「ソース」モデルから、最も可能性の高い1つのモデルを予測します。特定の「ターゲット」モデルをトレーニングするための効果的な転送を生成します。候補ソースモデルのコレクションを組み立て、各候補を微調整して各ターゲットタスクのコレクションを実行し、最後に転送がどの程度強化されているかを測定することで、アプローチを徹底的に検証します。複数のドメイン(画像分類と意味関係)内の95のタスクにわたって、P2Lアプローチは平均して最良の転移学習モデルを選択できましたが、最大のデータセットでトレーニングされたモデルを選択するヒューリスティックは55のケースでのみ最良のモデルを選択しました。これらの結果は、P2Lがソースタスクとターゲットタスクに共通する重要な情報をキャプチャし、この共有情報構造が単純なデータサイズよりも転送学習の成功に貢献していることを示唆しています。
Transfer learning enhances learning across tasks, by leveraging previously learned representations -- if they are properly chosen. We describe an efficient method to accurately estimate the appropriateness of a previously trained model for use in a new learning task. We use this measure, which we call "Predict To Learn" ("P2L"), in the two very different domains of images and semantic relations, where it predicts, from a set of "source" models, the one model most likely to produce effective transfer for training a given "target" model. We validate our approach thoroughly, by assembling a collection of candidate source models, then fine-tuning each candidate to perform each of a collection of target tasks, and finally measuring how well transfer has been enhanced. Across 95 tasks within multiple domains (images classification and semantic relations), the P2L approach was able to select the best transfer learning model on average, while the heuristic of choosing model trained with the largest data set selected the best model in only 55 cases. These results suggest that P2L captures important information in common between source and target tasks, and that this shared informational structure contributes to successful transfer learning more than simple data size.
updated: Thu Oct 15 2020 20:08:59 GMT+0000 (UTC)
published: Tue Aug 20 2019 22:09:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト