多様体学習は、多数のアプリケーションを使用する機械学習の基本的な問題です。既存の方法のほとんどは、一部の高次元空間へのデータの低次元の埋め込みを直接学習し、通常、ダウンストリームアプリケーションに直接適用できる柔軟性に欠けています。本論文では、関連する熱核を学習することにより多様体情報が暗黙的に得られる暗黙的多様体学習の概念を提案する。熱核は、対応する熱方程式の解であり、「熱」が多様体上でどのように伝達されるかを記述し、多様体の十分な幾何学的情報を含みます。フレームワークの実用的なアルゴリズムと理論的分析の両方を提供します。学習した熱核は、データ生成用の深層生成モデル(DGM)やベイズ推定用のスタイン変分最急降下法など、さまざまなカーネルベースの機械学習モデルに適用できます。広範な実験は、私たちのフレームワークが2つのタスクの既存の方法と比較して最先端の結果を達成できることを示しています。
Manifold learning is a fundamental problem in machine learning with numerous applications. Most of the existing methods directly learn the low-dimensional embedding of the data in some high-dimensional space, and usually lack the flexibility of being directly applicable to down-stream applications. In this paper, we propose the concept of implicit manifold learning, where manifold information is implicitly obtained by learning the associated heat kernel. A heat kernel is the solution of the corresponding heat equation, which describes how "heat" transfers on the manifold, thus containing ample geometric information of the manifold. We provide both practical algorithm and theoretical analysis of our framework. The learned heat kernel can be applied to various kernel-based machine learning models, including deep generative models (DGM) for data generation and Stein Variational Gradient Descent for Bayesian inference. Extensive experiments show that our framework can achieve state-of-the-art results compared to existing methods for the two tasks.