arXiv reaDer
リーマン多様体上のミニマックス問題に対する勾配降下上昇
Gradient Descent Ascent for Minimax Problems on Riemannian Manifolds
この論文では、リーマン多様体に関する有用なミニマックス問題のクラスを研究し、これらのミニマックス問題を解くための効果的なリーマン勾配ベースの方法のクラスを提案します。具体的には、決定論的ミニマックス最適化のための効果的なリーマン勾配降下法 (RGDA) アルゴリズムを提案します。さらに、RGDA が、測地線非凸強凹 (GNSC) ミニマックス問題の ϵ 定常解を見つけるためのサンプル複雑度が O(κ^2ϵ^-2) であることを証明します。ここで、κ は条件数を表します。同時に、確率的ミニマックス最適化のための効果的なリーマン確率的勾配降下法 (RSGDA) アルゴリズムを提示します。これは、ε-定常解を見つけるためのサンプル複雑度が O(κ^4ϵ^-4) です。サンプルの複雑さをさらに軽減するために、運動量ベースの分散削減手法に基づく加速リーマン確率勾配降下法 (Acc-RSGDA) アルゴリズムを提案します。 Acc-RSGDA アルゴリズムは、GNSC ミニマックス問題の ϵ 定常解を検索する際に、O(κ^4ϵ^-3) の低いサンプル複雑度を達成することを証明します。スティーフェル多様体に対するロバストな分布最適化とロバストなディープ ニューラル ネットワーク (DNN) トレーニングに関する広範な実験結果は、アルゴリズムの効率性を示しています。
In the paper, we study a class of useful minimax problems on Riemanian manifolds and propose a class of effective Riemanian gradient-based methods to solve these minimax problems. Specifically, we propose an effective Riemannian gradient descent ascent (RGDA) algorithm for the deterministic minimax optimization. Moreover, we prove that our RGDA has a sample complexity of O(κ^2ϵ^-2) for finding an ϵ-stationary solution of the Geodesically-Nonconvex Strongly-Concave (GNSC) minimax problems, where κ denotes the condition number. At the same time, we present an effective Riemannian stochastic gradient descent ascent (RSGDA) algorithm for the stochastic minimax optimization, which has a sample complexity of O(κ^4ϵ^-4) for finding an ϵ-stationary solution. To further reduce the sample complexity, we propose an accelerated Riemannian stochastic gradient descent ascent (Acc-RSGDA) algorithm based on the momentum-based variance-reduced technique. We prove that our Acc-RSGDA algorithm achieves a lower sample complexity of O(κ^4ϵ^-3) in searching for an ϵ-stationary solution of the GNSC minimax problems. Extensive experimental results on the robust distributional optimization and robust Deep Neural Networks (DNNs) training over Stiefel manifold demonstrate efficiency of our algorithms.
updated: Mon Jan 02 2023 23:16:35 GMT+0000 (UTC)
published: Tue Oct 13 2020 00:54:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト