潜在変数が量子化されるか、ノイズによって破損し、潜在変数のセットで制約が Schur-concave である線形オートエンコーダーを検討します。このセットアップに最適なエンコーダー/デコーダーのペアを見つけることは非凸最適化問題ですが、ソースをその主成分に分解することが最適であることを示します。制約が厳密に Schur-concave であり、経験的共分散行列に単純な固有値しかない場合、最適なエンコーダー/デコーダーはこの方法でソースを分解する必要があります。 1 つのアプリケーションとして、固定レート エンコーディング (プリンシパル ビット分析 (PBA) と呼ばれる設定) で潜在変数を表すために必要なビット数を推定する厳密な Schur-concave 制約を検討します。これにより、既存のアルゴリズムよりも優れた実用的な汎用固定レート コンプレッサーが得られます。 2 番目のアプリケーションとして、プロトタイプのオートエンコーダー ベースの可変レート コンプレッサーが、ソースをその主成分に分解することが保証されていることを示します。
We consider a linear autoencoder in which the latent variables are quantized, or corrupted by noise, and the constraint is Schur-concave in the set of latent variances. Although finding the optimal encoder/decoder pair for this setup is a nonconvex optimization problem, we show that decomposing the source into its principal components is optimal. If the constraint is strictly Schur-concave and the empirical covariance matrix has only simple eigenvalues, then any optimal encoder/decoder must decompose the source in this way. As one application, we consider a strictly Schur-concave constraint that estimates the number of bits needed to represent the latent variables under fixed-rate encoding, a setup that we call Principal Bit Analysis (PBA). This yields a practical, general-purpose, fixed-rate compressor that outperforms existing algorithms. As a second application, we show that a prototypical autoencoder-based variable-rate compressor is guaranteed to decompose the source into its principal components.