arXiv reaDer
Improved Training Speed, Accuracy, and Data Utilization Through Loss Function Optimization
 ニューラルネットワークモデルの複雑さが増すにつれて、メタラーニングを通じて設計を自動的に最適化することがますます重要になっています。ハイパーパラメーター、トポロジー、および学習率のスケジュールを発見する方法により、パフォーマンスが大幅に向上しました。このホワイトペーパーでは、損失関数もメタラーニングで最適化でき、同様の改善が得られることを示しています。この方法は、遺伝的損失関数最適化(GLO)であり、損失関数を新たに発見し、ターゲットタスク用に最適化します。遺伝的プログラミングの手法を活用して、GLOは一連の演算子とリーフノードから損失関数を階層的に構築します。これらの関数は最適な構造を見つけるために繰り返し再結合および突然変異され、その後、共分散行列適応進化戦略(CMA-ES)が最適な係数を見つけるために使用されます。 GLO損失関数でトレーニングされたネットワークは、標準の画像分類タスクで標準のクロスエントロピー損失を上回ることがわかります。これらの新しい損失関数を使用したトレーニングでは、必要な手順が少なくなり、テストエラーが少なくなり、より小さなデータセットを使用できます。したがって、損失関数の最適化はメタラーニングの新しい次元を提供し、AutoMLへの重要なステップを構成します。
As the complexity of neural network models has grown, it has become increasingly important to optimize their design automatically through metalearning. Methods for discovering hyperparameters, topologies, and learning rate schedules have lead to significant increases in performance. This paper shows that loss functions can be optimized with metalearning as well, and result in similar improvements. The method, Genetic Loss-function Optimization (GLO), discovers loss functions de novo, and optimizes them for a target task. Leveraging techniques from genetic programming, GLO builds loss functions hierarchically from a set of operators and leaf nodes. These functions are repeatedly recombined and mutated to find an optimal structure, and then a covariance-matrix adaptation evolutionary strategy (CMA-ES) is used to find optimal coefficients. Networks trained with GLO loss functions are found to outperform the standard cross-entropy loss on standard image classification tasks. Training with these new loss functions requires fewer steps, results in lower test error, and allows for smaller datasets to be used. Loss-function optimization thus provides a new dimension of metalearning, and constitutes an important step towards AutoML.
updated: Mon Apr 27 2020 16:31:53 GMT+0000 (UTC)
published: Mon May 27 2019 22:24:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト