arXiv reaDer
Learning to Forget for Meta-Learning
少数ショット学習は、いくつかの例のみから一般化を達成することを目標とする場合の難しい問題です。モデルにとらわれないメタ学習(MAML)は、事前知識をタスク全体の共通の初期化として定式化することにより問題に取り組みます。これは、目に見えないタスクにすばやく適応するために使用されます。ただし、初期化を強制的に共有すると、タスク間の競合や、最適化ランドスケープでの(タスクにとって望ましくない)侵害された場所が発生し、タスクの適応が妨げられる可能性があります。さらに、競合の程度は、タスクだけでなくニューラルネットワークのレイヤーによっても異なることがわかります。したがって、影響を減らすために、妥協された初期化に対するタスクおよびレイヤーごとの減衰を提案します。減衰は、所定のタスクと各レイヤーの事前知識の影響を動的に制御する(または選択的に忘れる)ため、メソッドをL2F(Learn to Forget)と名付けます。実験結果は、提案された方法がより速い適応を提供し、性能を大幅に改善することを示しています。さらに、L2Fは簡単に適用でき、他の最先端のMAMLベースのフレームワークを改善して、その単純さと汎用性を示しています。
Few-shot learning is a challenging problem where the goal is to achieve generalization from only few examples. Model-agnostic meta-learning (MAML) tackles the problem by formulating prior knowledge as a common initialization across tasks, which is then used to quickly adapt to unseen tasks. However, forcibly sharing an initialization can lead to conflicts among tasks and the compromised (undesired by tasks) location on optimization landscape, thereby hindering the task adaptation. Further, we observe that the degree of conflict differs among not only tasks but also layers of a neural network. Thus, we propose task-and-layer-wise attenuation on the compromised initialization to reduce its influence. As the attenuation dynamically controls (or selectively forgets) the influence of prior knowledge for a given task and each layer, we name our method as L2F (Learn to Forget). The experimental results demonstrate that the proposed method provides faster adaptation and greatly improves the performance. Furthermore, L2F can be easily applied and improve other state-of-the-art MAML-based frameworks, illustrating its simplicity and generalizability.
updated: Tue Jun 16 2020 03:24:44 GMT+0000 (UTC)
published: Thu Jun 13 2019 19:03:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト