ディープラーニングアーキテクチャに焦点を当て、最適化手法の発見プロセスを自動化するアプローチを提示する。我々は、グラジエント、グラジエントの実行平均などの原始的な関数のリストに基づいて数学的な更新式を記述した文字列をドメイン固有の言語で生成するリカレント・ニューラル・ネットワーク・コントローラを訓練する。このコントローラは、数エポック後にモデルの性能を最大化するために、強化学習を用いて訓練される。CIFAR-10において、我々の手法はConvNetモデルにおいて、Adam、RMSProp、SGDなどの一般的に使用されているオプティマイザよりも優れた更新ルールを発見した。PowerSignとAddSignという2つの新しいオプティマイザを紹介し、ImageNet分類やGoogleのニューラル機械翻訳システムなど、さまざまな異なるタスクやアーキテクチャ上でうまく移行し、トレーニングを向上させることを示している。
We present an approach to automate the process of discovering optimization methods, with a focus on deep learning architectures. We train a Recurrent Neural Network controller to generate a string in a domain specific language that describes a mathematical update equation based on a list of primitive functions, such as the gradient, running average of the gradient, etc. The controller is trained with Reinforcement Learning to maximize the performance of a model after a few epochs. On CIFAR-10, our method discovers several update rules that are better than many commonly used optimizers, such as Adam, RMSProp, or SGD with and without Momentum on a ConvNet model. We introduce two new optimizers, named PowerSign and AddSign, which we show transfer well and improve training on a variety of different tasks and architectures, including ImageNet classification and Google's neural machine translation system.