この論文では、リーマン多様体に関する有用なミニマックス問題のクラスを研究し、これらのミニマックス問題を解くための効果的なリーマン勾配ベースの方法のクラスを提案します。具体的には、決定論的ミニマックス最適化のための効果的なリーマン勾配降下法 (RGDA) アルゴリズムを提案します。さらに、RGDA が、測地線非凸強凹 (GNSC) ミニマックス問題の ϵ 定常解を見つけるためのサンプル複雑度が O(κ^2ϵ^-2) であることを証明します。ここで、κ は条件数を表します。同時に、確率的ミニマックス最適化のための効果的なリーマン確率的勾配降下法 (RSGDA) アルゴリズムを提示します。これは、ε-定常解を見つけるためのサンプル複雑度が O(κ^4ϵ^-4) です。サンプルの複雑さをさらに軽減するために、運動量ベースの分散削減手法に基づく加速リーマン確率勾配降下法 (Acc-RSGDA) アルゴリズムを提案します。 Acc-RSGDA アルゴリズムは、GNSC ミニマックス問題の ϵ 定常解を検索する際に、O(κ^4ϵ^-3) の低いサンプル複雑度を達成することを証明します。スティーフェル多様体に対するロバストな分布最適化とロバストなディープ ニューラル ネットワーク (DNN) トレーニングに関する広範な実験結果は、アルゴリズムの効率性を示しています。
In the paper, we study a class of useful minimax problems on Riemanian manifolds and propose a class of effective Riemanian gradient-based methods to solve these minimax problems. Specifically, we propose an effective Riemannian gradient descent ascent (RGDA) algorithm for the deterministic minimax optimization. Moreover, we prove that our RGDA has a sample complexity of O(κ^2ϵ^-2) for finding an ϵ-stationary solution of the Geodesically-Nonconvex Strongly-Concave (GNSC) minimax problems, where κ denotes the condition number. At the same time, we present an effective Riemannian stochastic gradient descent ascent (RSGDA) algorithm for the stochastic minimax optimization, which has a sample complexity of O(κ^4ϵ^-4) for finding an ϵ-stationary solution. To further reduce the sample complexity, we propose an accelerated Riemannian stochastic gradient descent ascent (Acc-RSGDA) algorithm based on the momentum-based variance-reduced technique. We prove that our Acc-RSGDA algorithm achieves a lower sample complexity of O(κ^4ϵ^-3) in searching for an ϵ-stationary solution of the GNSC minimax problems. Extensive experimental results on the robust distributional optimization and robust Deep Neural Networks (DNNs) training over Stiefel manifold demonstrate efficiency of our algorithms.