モデルに依存しないメタ学習 (MAML) は、最も成功したメタ学習アルゴリズムの 1 つです。外側のループ プロセスが共有初期化を学習し、内側のループ プロセスがタスク固有の重みを最適化する 2 レベルの最適化構造を備えています。 MAML は内部ループの標準的な勾配降下法に依存していますが、最近の研究では、メタ学習済みの前提条件子を使用して内部ループの勾配降下法を制御することが有益であることが示されています。ただし、既存の前提条件は、タスク固有の方法とパスに依存する方法で同時に適応することはできません。さらに、それらはリーマン計量条件を満たしていないため、事前条件付き勾配を使用した最急降下学習が可能になります。この研究では、MAML の制限を克服できる Geometry-Adaptive Preconditioned Gradient Descent (GAP) を提案します。 GAP は、タスク固有のパラメーターに依存する前提条件を効率的にメタ学習することができ、その前提条件はリーマン計量であることを示すことができます。 2 つのプロパティのおかげで、ジオメトリに適応する前提条件は、内側のループの最適化を改善するのに効果的です。実験結果は、GAP がさまざまな少数ショット学習タスクにおいて、最先端の MAML ファミリーおよび前処理付き勾配降下 MAML (PGD-MAML) ファミリーよりも優れていることを示しています。コードは https://github.com/Suhyun777/CVPR23-GAP で入手できます。
Model-agnostic meta-learning (MAML) is one of the most successful meta-learning algorithms. It has a bi-level optimization structure where the outer-loop process learns a shared initialization and the inner-loop process optimizes task-specific weights. Although MAML relies on the standard gradient descent in the inner-loop, recent studies have shown that controlling the inner-loop's gradient descent with a meta-learned preconditioner can be beneficial. Existing preconditioners, however, cannot simultaneously adapt in a task-specific and path-dependent way. Additionally, they do not satisfy the Riemannian metric condition, which can enable the steepest descent learning with preconditioned gradient. In this study, we propose Geometry-Adaptive Preconditioned gradient descent (GAP) that can overcome the limitations in MAML; GAP can efficiently meta-learn a preconditioner that is dependent on task-specific parameters, and its preconditioner can be shown to be a Riemannian metric. Thanks to the two properties, the geometry-adaptive preconditioner is effective for improving the inner-loop optimization. Experiment results show that GAP outperforms the state-of-the-art MAML family and preconditioned gradient descent-MAML (PGD-MAML) family in a variety of few-shot learning tasks. Code is available at: https://github.com/Suhyun777/CVPR23-GAP.