ニューラルネットワークを使用してオプティマイザーの更新ステップの計算を表す、学習した最適化への新しいアプローチを提案します。次に、オプティマイザーのパラメーターは、最小化を効率的に実行する目的で、一連の最適化タスクでトレーニングすることによって学習されます。私たちの革新は、古典的な BFGS アルゴリズムに触発された学習済みオプティマイザーのための新しいニューラル ネットワーク アーキテクチャ、Optimus です。 BFGS と同様に、前処理行列をランク 1 更新の合計として推定しますが、Transformer ベースのニューラル ネットワークを使用して、これらの更新をステップの長さと方向と共に予測します。最近学んだいくつかの最適化ベースのアプローチとは対照的に、私たちの定式化は、再トレーニングなしで可変次元の最適化タスクに適用可能でありながら、ターゲット問題のパラメーター空間の次元全体で条件付けを可能にします。最適化アルゴリズムの評価に伝統的に使用されている目的関数で構成されるベンチマーク、および関節のある3D人間の動きの物理ベースの視覚的再構成の実世界タスクで、アプローチの利点を示します。
We propose a new approach to learned optimization where we represent the computation of an optimizer's update step using a neural network. The parameters of the optimizer are then learned by training on a set of optimization tasks with the objective to perform minimization efficiently. Our innovation is a new neural network architecture, Optimus, for the learned optimizer inspired by the classic BFGS algorithm. As in BFGS, we estimate a preconditioning matrix as a sum of rank-one updates but use a Transformer-based neural network to predict these updates jointly with the step length and direction. In contrast to several recent learned optimization-based approaches, our formulation allows for conditioning across the dimensions of the parameter space of the target problem while remaining applicable to optimization tasks of variable dimensionality without retraining. We demonstrate the advantages of our approach on a benchmark composed of objective functions traditionally used for the evaluation of optimization algorithms, as well as on the real world-task of physics-based visual reconstruction of articulated 3d human motion.