arXiv reaDer
Beyond Alternating Updates for Matrix Factorization with Inertial Bregman Proximal Gradient Algorithms
 行列分解は一般的な非凸最適化問題であり、そのために交互最小化スキームが主に使用されます。彼らは通常、ソリューションが最適化変数の1つに偏っているという大きな欠点に悩まされています。救済策は、非代替スキームです。ただし、行列因数分解問題の勾配のリプシッツ連続性がないため、収束を保証できません。最近開発されたアプローチは、標準のユークリッド距離を一般化するブレグマン距離の概念に依存しています。マトリックス分解問題の新しいブレグマン距離を提案することにより、この理論を活用します。これは、同時に、単純な/閉じた形式の更新ステップを可能にします。そのため、最近導入されたBregman Proximal Gradient(BPG)メソッドや慣性バリアントConvex--Concave Inertial BPG(CoCaIn BPG)などの非交互スキームでは、行列分解のためにシーケンス全体の定常点への収束が証明されています。いくつかの実験では、限界点での速度と客観的な値に関して、非交互スキームの優れた性能を観察しています。
Matrix Factorization is a popular non-convex optimization problem, for which alternating minimization schemes are mostly used. They usually suffer from the major drawback that the solution is biased towards one of the optimization variables. A remedy is non-alternating schemes. However, due to a lack of Lipschitz continuity of the gradient in matrix factorization problems, convergence cannot be guaranteed. A recently developed approach relies on the concept of Bregman distances, which generalizes the standard Euclidean distance. We exploit this theory by proposing a novel Bregman distance for matrix factorization problems, which, at the same time, allows for simple/closed form update steps. Therefore, for non-alternating schemes, such as the recently introduced Bregman Proximal Gradient (BPG) method and an inertial variant Convex--Concave Inertial BPG (CoCaIn BPG), convergence of the whole sequence to a stationary point is proved for Matrix Factorization. In several experiments, we observe a superior performance of our non-alternating schemes in terms of speed and objective value at the limit point.
updated: Fri Dec 06 2019 12:33:13 GMT+0000 (UTC)
published: Wed May 22 2019 10:09:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト