arXiv reaDer
深線形ニューラルネットワーク用のBregman Proximal Framework
Bregman Proximal Framework for Deep Linear Neural Networks
  一次最適化手法の分析の典型的な仮定は、目的関数の勾配のリプシッツ連続性です。ただし、多くの実際のアプリケーションでは、ディープラーニングの損失関数を含め、この仮定に違反しています。この問題を克服するために、ブレグマン距離として知られる一般化された近接度測定に基づく特定の拡張が導入されました。これにより、Bregman近位勾配(BPG)アルゴリズムと慣性バリアント(運動量ベース)CoCaIn BPGの開発が開始されましたが、これらは問題に依存するBregman距離に依存しています。この論文では、BPGメソッドを使用してディープリニアニューラルネットワークをトレーニングするためのブレグマン距離を開発します。結果の主な意味は、これらのアルゴリズムの強力な収束保証です。また、効率的な実装のためのいくつかの戦略、たとえば、閉じた形式の更新や、CoCaIn BPGの慣性パラメーターの閉じた形式の表現を提案します。さらに、BPGメソッドでは、対応するユークリッドバージョンとは異なり、ステップサイズの縮小もラインサーチも必要ありません。既存の最先端のスキームと比較した、提案された方法の競争力を数値的に示します。
A typical assumption for the analysis of first order optimization methods is the Lipschitz continuity of the gradient of the objective function. However, for many practical applications this assumption is violated, including loss functions in deep learning. To overcome this issue, certain extensions based on generalized proximity measures known as Bregman distances were introduced. This initiated the development of the Bregman proximal gradient (BPG) algorithm and an inertial variant (momentum based) CoCaIn BPG, which however rely on problem dependent Bregman distances. In this paper, we develop Bregman distances for using BPG methods to train Deep Linear Neural Networks. The main implications of our results are strong convergence guarantees for these algorithms. We also propose several strategies for their efficient implementation, for example, closed form updates and a closed form expression for the inertial parameter of CoCaIn BPG. Moreover, the BPG method requires neither diminishing step sizes nor line search, unlike its corresponding Euclidean version. We numerically illustrate the competitiveness of the proposed methods compared to existing state of the art schemes.
updated: Tue Oct 08 2019 18:45:34 GMT+0000 (UTC)
published: Tue Oct 08 2019 18:45:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト