arXiv reaDer
次元削減のための深い多様体変換
Deep Manifold Transformation for Dimension Reduction
非線形次元削減(NLDR)は、特徴抽出と高次元データの視覚化において重要な役割を果たします。データ内の対象のパターンまたは多様体を、低次元の潜在空間の領域に変換します。マニフォールドが非常に複雑な場合、NLDR変換はダウンストリームタスクに十分な非線形性を提供する必要があります。この論文は、この問題に取り組むために、ディープマニフォールド変換(DMT)と呼ばれる新しい方法を提案します。多層ニューラルネットワークとして、DMTは単層法よりも高度な非線形性をサポートできます。継続戦略は、多様な学習アルゴリズムで一般的な極小問題に対処するためにトレーニング中に適用されます。このような学習されたDMTネットワークは、目に見えないデータに一般化できますが、従来の多様な学習方法では、トレーニングデータの埋め込みしか提供されません。広範な実験、比較、およびアブレーション研究は、DMTがUMAPやt-SNE、およびその他の主要なマニホールドベースのNLDRメソッドよりも優れた結果を提供できることを示しています。
Nonlinear dimensionality reduction (NLDR) plays an important role in feature extraction and visualization of high dimensional data. It transforms patterns of interest, or manifolds, in data to regions in a lower-dimensional latent space. When the manifolds are highly complicated, the NLDR transformation has to provide sufficient nonlinearity for downstream tasks. This paper proposes a novel method, called deep manifold transformation (DMT), to tackle this problem. As a multi-layer neural network, DMT can support a higher degree of nonlinearity than single-layer methods. Continuation strategy is applied during training to address the local minimum problem common in manifold learning algorithms. Such a learned DMT network can generalize to unseen data whereas traditional manifold learning methods only provide an embedding of the training data. Extensive experiments, comparisons, and ablation studies demonstrate that DMT can deliver results superior to UMAP and t-SNE, and other leading manifold-based NLDR methods.
updated: Tue Dec 01 2020 09:26:44 GMT+0000 (UTC)
published: Wed Oct 28 2020 09:09:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト