arXiv reaDer
リーマン多様体のミニマックス問題に対する最急降下法
Gradient Descent Ascent for Min-Max Problems on Riemannian Manifolds
この論文では、リーマニア多様体に関する有用な非凸ミニマックス最適化問題のクラスを研究し、これらのミニマックス問題を解決するためのリーマニア勾配降下上昇アルゴリズムのクラスを提案します。具体的には、決定論的ミニマックス最適化のための新しいリーマン勾配降下上昇(RGDA)アルゴリズムを提案します。さらに、非凸型の強凹ミニマックス問題のϵ-停留点を見つけるために、RGDAのサンプルの複雑さがO(κ^ 2ϵ ^ -2)であることを証明します。ここで、κは条件数を示します。同時に、確率的ミニマックス最適化のためのリーマン確率的勾配降下法(RSGDA)アルゴリズムを導入します。理論的分析では、RSGDAがサンプルの複雑さO(κ^ 3ϵ ^ -4)を達成できることを証明します。サンプルの複雑さをさらに軽減するために、STORMの運動量ベースの分散減少手法に基づく新しい運動量分散減少リーマン確率的勾配降下法(MVR-RSGDA)アルゴリズムを提案します。 MVR-RSGDAアルゴリズムが、ν≥0に対してO(κ^(3-ν/ 2)ϵ ^ -3)のより低いサンプル複雑度を達成することを証明します。これは、ユークリッド対応物の最もよく知られているサンプル複雑度に達します。スティーフェル多様体を介した堅牢なディープニューラルネットワークトレーニングに関する広範な実験結果は、提案されたアルゴリズムの効率を示しています。
In the paper, we study a class of useful non-convex minimax optimization problems on Riemanian manifolds and propose a class of Riemanian gradient descent ascent algorithms to solve these minimax problems. Specifically, we propose a new Riemannian gradient descent ascent (RGDA) algorithm for the deterministic minimax optimization. Moreover, we prove that the RGDA has a sample complexity of O(κ^2ϵ^-2) for finding an ϵ-stationary point of the nonconvex strongly-concave minimax problems, where κ denotes the condition number. At the same time, we introduce a Riemannian stochastic gradient descent ascent (RSGDA) algorithm for the stochastic minimax optimization. In the theoretical analysis, we prove that the RSGDA can achieve a sample complexity of O(κ^3ϵ^-4). To further reduce the sample complexity, we propose a novel momentum variance-reduced Riemannian stochastic gradient descent ascent (MVR-RSGDA) algorithm based on the momentum-based variance-reduced technique of STORM. We prove that the MVR-RSGDA algorithm achieves a lower sample complexity of O(κ^(3-ν/2)ϵ^-3) for ν≥0, which reaches the best known sample complexity for its Euclidean counterpart. Extensive experimental results on the robust deep neural networks training over Stiefel manifold demonstrate the efficiency of our proposed algorithms.
updated: Wed Mar 17 2021 15:09:46 GMT+0000 (UTC)
published: Tue Oct 13 2020 00:54:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト