arXiv reaDer
Dimension Estimation Using Autoencoders
  次元推定(DE)と次元削減(DR)は密接に関連する2つのトピックですが、目標はまったく異なります。 DEでは、ランダムベクトルの一連の測定で固有の次元または潜在変数の数を推定しようとします。ただし、DRでは、元の高次元空間に含まれる情報を保持する低次元空間に、ランダムベクトルを線形または非線形で投影しようとします。もちろん、これら2つのアイデアは非常に密接にリンクされています。たとえば、DEが示唆するよりも小さな次元にDRを実行すると、情報が失われる可能性が高いためです。したがって、このホワイトペーパーでは、DRで広く使用されているがDEではあまり研究されていないオートエンコーダと呼ばれる特定のクラスのディープニューラルネットワークに焦点を当てます。 DEのオートエンコーダーを使用すると、主成分分析などのより古典的なDR / DE手法で発生するものを超えて、いくつかの重要な問題が発生することを示します。オートエンコーダの潜在的なレイヤー表現を固有の次元の推定値に変換できるようにするオートエンコーダのアーキテクチャの選択と正則化手法に取り組んでいます。
Dimension Estimation (DE) and Dimension Reduction (DR) are two closely related topics, but with quite different goals. In DE, one attempts to estimate the intrinsic dimensionality or number of latent variables in a set of measurements of a random vector. However, in DR, one attempts to project a random vector, either linearly or non-linearly, to a lower dimensional space that preserves the information contained in the original higher dimensional space. Of course, these two ideas are quite closely linked since, for example, doing DR to a dimension smaller than suggested by DE will likely lead to information loss. Accordingly, in this paper we will focus on a particular class of deep neural networks called autoencoders which are used extensively for DR but are less well studied for DE. We show that several important questions arise when using autoencoders for DE, above and beyond those that arise for more classic DR/DE techniques such as Principal Component Analysis. We address autoencoder architectural choices and regularization techniques that allow one to transform autoencoder latent layer representations into estimates of intrinsic dimension.
updated: Tue Sep 24 2019 04:09:48 GMT+0000 (UTC)
published: Tue Sep 24 2019 04:09:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト