ロバスト部分空間回復(RSR)は、ロバスト表現学習の基本的な問題です。ここでは、部分空間の直交補空間の基底を回復することを目的とし、相対次元の高い部分空間の処理に適した、二重主成分追跡(DPCP)アプローチと呼ばれる最近提案されたRSR法に焦点を当てます。以前の研究では、部分空間の真の次元がわかっている限り、DPCPは外れ値の存在下で正しい部分空間を確実に回復できることが示されています。以前のDPCP定式化で採用された直交性制約が緩和され、スペクトル制約の代わりにランダム初期化が使用される限り、DPCPが未知の部分空間次元レジームでRSR問題を確実に解決できることを示します。つまり、投影された最急降下法(PSGM)の複数のインスタンスを実行することに基づく非常に単純なアルゴリズムを提案します。各問題インスタンスは、部分空間の零空間で1つのベクトルを見つけようとします。穏やかな条件下では、このアプローチが高い確率で成功することを理論的に証明します。特に、1)すべての問題インスタンスが部分空間の零空間内のベクトルに収束し、2)問題インスタンスソリューションのアンサンブルが部分空間の零空間に完全にまたがるのに十分に多様であり、したがってその真を明らかにすることを示します。未知の余次元。理論的な結果を裏付ける経験的な結果を提供し、部分空間の次元を意識せずにRSRを実行できるPSGMアルゴリズムの顕著な暗黙のランク正則化動作を紹介します。
Robust subspace recovery (RSR) is a fundamental problem in robust representation learning. Here we focus on a recently proposed RSR method termed Dual Principal Component Pursuit (DPCP) approach, which aims to recover a basis of the orthogonal complement of the subspace and is amenable to handling subspaces of high relative dimension. Prior work has shown that DPCP can provably recover the correct subspace in the presence of outliers, as long as the true dimension of the subspace is known. We show that DPCP can provably solve RSR problems in the unknown subspace dimension regime, as long as orthogonality constraints -- adopted in previous DPCP formulations -- are relaxed and random initialization is used instead of spectral one. Namely, we propose a very simple algorithm based on running multiple instances of a projected sub-gradient descent method (PSGM), with each problem instance seeking to find one vector in the null space of the subspace. We theoretically prove that under mild conditions this approach will succeed with high probability. In particular, we show that 1) all of the problem instances will converge to a vector in the nullspace of the subspace and 2) the ensemble of problem instance solutions will be sufficiently diverse to fully span the nullspace of the subspace thus also revealing its true unknown codimension. We provide empirical results that corroborate our theoretical results and showcase the remarkable implicit rank regularization behavior of PSGM algorithm that allows us to perform RSR without being aware of the subspace dimension.