arXiv reaDer
Rate-Distortion Optimization Guided Autoencoder for Isometric Embedding in Euclidean Latent Space
実世界の高次元で複雑なデータを解析するために、機械学習の生成モデルアプローチは、次元を小さくしてデータの確率モデルを獲得することを目的としている。この目的のために、可変オートエンコーダー(variational autoencoder: VAE)のようなディープオートエンコーダーベースの生成モデルが提案されている。しかし、これまでの研究では、実空間と低次元空間(潜在空間)の間のメトリクスのスケールがうまく制御されていなかった。そのため、潜在変数が実データに与える定量的な影響は不明である。結局、実空間の確率分布関数(probability distribution function: PDF)を潜在空間のPDFから正確に推定することはできない。この問題を克服するために、我々はレート歪み最適化を用いたオートエンコーダーを提案する。本提案手法が以下のような性質を持つことを理論的かつ実験的に示す。(i)2つの空間の間のヤコビアン行列の列は常にスケーリングされた正規直交系であり、ユークリッド空間にデータを等角的に埋め込むことができる、(ii)潜在空間のPDFは実空間のPDFに比例する。さらに、その実用性を検証するために、教師なし異常検出における性能を評価し、現在の最先端の手法を凌駕する性能を示した。
To analyze high-dimensional and complex data in the real world, generative model approach of machine learning aims to reduce the dimension and acquire a probabilistic model of the data. For this purpose, deep-autoencoder based generative models such as variational autoencoder (VAE) have been proposed. However, in previous works, the scale of metrics between the real and the reduced-dimensional space(latent space) is not well-controlled. Therefore, the quantitative impact of the latent variable on real data is unclear. In the end, the probability distribution function (PDF) in the real space cannot be estimated from that of the latent space accurately. To overcome this problem, we propose Rate-Distortion Optimization guided autoencoder. We show our method has the following properties theoretically and experimentally: (i) the columns of Jacobian matrix between two spaces is constantly-scaled orthonormal system and data can be embedded in a Euclidean space isometrically; (ii) the PDF of the latent space is proportional to that of the real space. Furthermore, to verify the usefulness in the practical application, we evaluate its performance in unsupervised anomaly detection and it outperforms current state-of-the-art methods.
updated: Tue Mar 03 2020 10:33:15 GMT+0000 (UTC)
published: Thu Oct 10 2019 02:03:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト