arXiv reaDer
Covariance-free Partial Least Squares: An Incremental Dimensionality Reduction Method
次元削減は、計算コストを削減し、より識別力のあるデータ表現を生成できることが多いため、コンピュータービジョンの問題で重要な役割を果たします。これに関連して、部分最小二乗(PLS)は、画像分類やニューラルネットワークの最適化などのタスクで注目すべき結果を示しています。ただし、PLSは、すべてのデータを事前にメモリに保存する必要があるため、ImageNetなどの大規模なデータセットでは実行できません。これは、ハードウェアの制限のために実用的でないことがよくあります。さらに、この要件により、データが継続的に生成されているストリーミングアプリケーションでPLSを使用できなくなります。これに動機付けられて、共分散のない増分部分最小二乗(CIPLS)という名前の新しい増分PLSを提案します。これは、一度に1つのサンプルを使用してデータの低次元表現を学習します。他の最先端のアプローチとは対照的に、部分識別モデルまたはSGDベースのモデルを採用する代わりに、PLSの計算に使用される標準アルゴリズムである非線形反復部分最小二乗(NIPALS)を増分処理用に拡張します。 。このアプローチの利点の中には、すべてのコンポーネントにわたる識別情報の保存、特徴選択にスコアマトリックスを使用する可能性、および計算効率があります。 CIPLSは、顔の検証と画像分類のタスクで検証されます。CIPLSは、他のいくつかの増分次元削減手法よりも優れています。特徴選択のコンテキストでは、CIPLSは、最先端の技術と比較した場合、同等の結果を達成します。
Dimensionality reduction plays an important role in computer vision problems since it reduces computational cost and is often capable of yielding more discriminative data representation. In this context, Partial Least Squares (PLS) has presented notable results in tasks such as image classification and neural network optimization. However, PLS is infeasible on large datasets, such as ImageNet, because it requires all the data to be in memory in advance, which is often impractical due to hardware limitations. Additionally, this requirement prevents us from employing PLS on streaming applications where the data are being continuously generated. Motivated by this, we propose a novel incremental PLS, named Covariance-free Incremental Partial Least Squares (CIPLS), which learns a low-dimensional representation of the data using a single sample at a time. In contrast to other state-of-the-art approaches, instead of adopting a partially-discriminative or SGD-based model, we extend Nonlinear Iterative Partial Least Squares (NIPALS) -- the standard algorithm used to compute PLS -- for incremental processing. Among the advantages of this approach are the preservation of discriminative information across all components, the possibility of employing its score matrices for feature selection, and its computational efficiency. We validate CIPLS on face verification and image classification tasks, where it outperforms several other incremental dimensionality reduction techniques. In the context of feature selection, CIPLS achieves comparable results when compared to state-of-the-art techniques.
updated: Tue Nov 10 2020 14:23:13 GMT+0000 (UTC)
published: Sat Oct 05 2019 19:45:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト