多くの実際のアプリケーションでは、通常、データには外れ値が含まれています。一般的なアプローチの1つは、L2,1ノルム関数を堅牢なエラー/損失関数として使用することです。ただし、L2,1ノルム関数の堅牢性はこれまで十分に理解されていません。この論文では、L2,1ノルム関数の堅牢性を理解および分析するために、新しいベクトル異常値正則化(VOR)フレームワークを提案します。 VOR関数は、データポイントが理論上の予測に関してしきい値の外にある場合、外れ値になるように定義し、それをしきい値ラインにプルバックします。次に、しきい値がゼロに縮小するとき、L2,1関数が通常の最小二乗/ L2エラー関数を持つこのVORの制限的なケースであることを証明します。 VORの興味深い特性の1つは、外れ値が理論的に予測された値からどれだけ離れているかは、最終的な正則化および分析結果に影響を与えないことです。このVORプロパティは、L2,1ノルム関数の最も特異なプロパティの1つを明らかにします。外れ値の影響は、外れ値がどの程度外れているかに依存しないようです。外れ値が固有の多様体/部分空間からさらに離れると、最終的な解析結果は変わらない。 VORは、L2,1ノルム関数の堅牢性を理解および分析するための新しい方法を提供します。マトリックス分解にVORを適用すると、新しいVORPCAモデルが作成されます。 VORPCAの利点を示すために、トレースノルムベースのL21ノルムPCAとの包括的な比較を行います。
In many real-world applications, data usually contain outliers. One popular approach is to use L2,1 norm function as a robust error/loss function. However, the robustness of L2,1 norm function is not well understood so far. In this paper, we propose a new Vector Outlier Regularization (VOR) framework to understand and analyze the robustness of L2,1 norm function. Our VOR function defines a data point to be outlier if it is outside a threshold with respect to a theoretical prediction, and regularize it-pull it back to the threshold line. We then prove that L2,1 function is the limiting case of this VOR with the usual least square/L2 error function as the threshold shrinks to zero. One interesting property of VOR is that how far an outlier lies away from its theoretically predicted value does not affect the final regularization and analysis results. This VOR property unmasks one of the most peculiar property of L2,1 norm function: The effects of outliers seem to be independent of how outlying they are-if an outlier is moved further away from the intrinsic manifold/subspace, the final analysis results do not change. VOR provides a new way to understand and analyze the robustness of L2,1 norm function. Applying VOR to matrix factorization leads to a new VORPCA model. We give a comprehensive comparison with trace-norm based L21-norm PCA to demonstrate the advantages of VORPCA.