arXiv reaDer
対称性から幾何学へ:実行可能な非凸問題
From Symmetry to Geometry: Tractable Nonconvex Problems
科学と工学がますますデータ主導になるにつれて、最適化の役割は、信号とデータの取得からモデリングと予測まで、データ分析パイプラインのほぼすべての段階に影響を与えるように拡大しました。実際に遭遇する最適化問題は、多くの場合、非凸です。課題は問題ごとに異なりますが、非凸性の一般的な原因の1つは、データまたは測定モデルの非線形性です。非線形モデルは対称性を示すことが多く、複数の同等のソリューションを使用して、複雑で凸状でない客観的なランドスケープを作成します。それにもかかわらず、単純な方法(最急降下法など)は、実際には驚くほどうまく機能することがよくあります。この調査の目的は、対称性のレンズを通して理解できる、扱いやすい非凸問題のクラスを強調することです。これらの問題は、特徴的な幾何学的構造を示します。ローカル最小化は、単一の「グラウンドトゥルース」ソリューションの対称コピーですが、他の臨界点は、グラウンドトゥルースの対称コピーのバランスの取れた重ね合わせで発生し、対称性を破る方向に負の曲率を示します。この構造により、効率的な方法でグローバル最小化子を取得できます。イメージング、信号処理、およびデータ分析におけるさまざまな問題から生じるこの現象の例について説明します。客観的な風景を形作る上での対称性の重要な役割を強調し、回転対称性と離散対称性のさまざまな役割について説明します。この領域には、観察された現象と開かれた問題が豊富にあります。最後に、今後の研究の方向性を強調します。
As science and engineering have become increasingly data-driven, the role of optimization has expanded to touch almost every stage of the data analysis pipeline, from signal and data acquisition to modeling and prediction. The optimization problems encountered in practice are often nonconvex. While challenges vary from problem to problem, one common source of nonconvexity is nonlinearity in the data or measurement model. Nonlinear models often exhibit symmetries, creating complicated, nonconvex objective landscapes, with multiple equivalent solutions. Nevertheless, simple methods (e.g., gradient descent) often perform surprisingly well in practice. The goal of this survey is to highlight a class of tractable nonconvex problems, which can be understood through the lens of symmetries. These problems exhibit a characteristic geometric structure: local minimizers are symmetric copies of a single "ground truth" solution, while other critical points occur at balanced superpositions of symmetric copies of the ground truth, and exhibit negative curvature in directions that break the symmetry. This structure enables efficient methods to obtain global minimizers. We discuss examples of this phenomenon arising from a wide range of problems in imaging, signal processing, and data analysis. We highlight the key role of symmetry in shaping the objective landscape and discuss the different roles of rotational and discrete symmetries. This area is rich with observed phenomena and open problems; we close by highlighting directions for future research.
updated: Fri Jul 08 2022 18:57:15 GMT+0000 (UTC)
published: Tue Jul 14 2020 01:19:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト