本論文では、分枝限定法による実行可能領域の適応推定に基づいた、深層ネットワークトレーニングのための新しい近似アルゴリズムであるBPGradを提案します。この方法は、目的関数のリプシッツ連続性の仮定に基づいており、その結果、以前の更新の履歴を前提として、現在の勾配のステップサイズを適応的に決定できます。このような分岐と剪定の手順を繰り返すことにより、有限の反復内で最適な解を達成できることを証明します。ディープニューラルネットワークをトレーニングするために、BPGradに基づく計算効率の高いソルバーが提案されています。経験的結果は、BPGradソルバーが実際にうまく機能し、オブジェクトの認識、検出、およびセグメンテーションのタスクで他の確率的最適化手法と比べて遜色がないことを示しています。コードはhttps://github.com/RyanCV/BPGradで入手できます。
In this paper, we propose BPGrad, a novel approximate algorithm for deep nueral network training, based on adaptive estimates of feasible region via branch-and-bound. The method is based on the assumption of Lipschitz continuity in objective function, and as a result, it can adaptively determine the step size for the current gradient given the history of previous updates. We prove that, by repeating such a branch-and-pruning procedure, it can achieve the optimal solution within finite iterations. A computationally efficient solver based on BPGrad has been proposed to train the deep neural networks. Empirical results demonstrate that BPGrad solver works well in practice and compares favorably to other stochastic optimization methods in the tasks of object recognition, detection, and segmentation. The code is available at https://github.com/RyanCV/BPGrad.