arXiv reaDer
ミニマックス問題のためのリーマン勾配ベースの方法について
On Riemannian Gradient-Based Methods for Minimax Problems
この論文では、リーマニア多様体に関する有用なミニマックス最適化問題のクラスを研究し、これらのミニマックス問題を解決するためのリーマニア勾配ベースの方法のクラスを提案します。具体的には、決定論的ミニマックス最適化のためのリーマン勾配降下上昇(RGDA)アルゴリズムを提案します。さらに、非凸型の強凹ミニマックス問題のϵ停留点を見つけるために、RGDAのサンプルの複雑さがO(κ^ 2ϵ ^ -2)であることを証明します。ここで、κは条件数を示します。同時に、確率的ミニマックス最適化のためのリーマン確率的勾配降下法(RSGDA)アルゴリズムを導入します。理論的分析では、RSGDAがO(κ^ 4ϵ ^ -4)のサンプル複雑度を達成できることを証明します。サンプルの複雑さをさらに軽減するために、分散減少法に基づく加速リーマン確率的勾配降下法(Acc-RSGDA)アルゴリズムを提案します。 Acc-RSGDAアルゴリズムがO(κ^ 4ϵ ^ -3)のより低いサンプル複雑度を達成することを証明します。スティーフェル多様体を介した堅牢な分布最適化とディープニューラルネットワーク(DNN)トレーニングに関する広範な実験結果は、アルゴリズムの効率を示しています。
In the paper, we study a class of useful minimax optimization problems on Riemanian manifolds and propose a class of Riemanian gradient-based methods to solve these minimax problems. Specifically, we propose a Riemannian gradient descent ascent (RGDA) algorithm for the deterministic minimax optimization. Moreover, we prove that our RGDA has a sample complexity of O(κ^2ϵ^-2) for finding an ϵ-stationary point of the nonconvex strongly-concave minimax problems, where κ denotes the condition number. At the same time, we introduce a Riemannian stochastic gradient descent ascent (RSGDA) algorithm for the stochastic minimax optimization. In the theoretical analysis, we prove that our RSGDA can achieve a sample complexity of O(κ^4ϵ^-4). To further reduce the sample complexity, we propose an accelerated Riemannian stochastic gradient descent ascent (Acc-RSGDA) algorithm based on the variance-reduced technique. We prove that our Acc-RSGDA algorithm achieves a lower sample complexity of O(κ^4ϵ^-3). Extensive experimental results on the robust distributional optimization and Deep Neural Networks (DNNs) training over Stiefel manifold demonstrate efficiency of our algorithms.
updated: Mon Apr 25 2022 21:33:03 GMT+0000 (UTC)
published: Tue Oct 13 2020 00:54:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト