分布ジェネレーター(またはデータジェネレーター)とメトリックジェネレーターを含む生成モデルへのマニフォールドマッチングアプローチを提案します。私たちのフレームワークでは、実際のデータセットを高次元のユークリッド空間に埋め込まれた多様体と見なしています。分布ジェネレーターは、実際のデータ多様体の周りに凝縮された分布に従うサンプルを生成することを目的としています。これは、重心やp-diameterなどの幾何学的形状記述子を使用して2セットのポイントを、学習した距離メトリックと照合することによって実現されます。メトリックジェネレータは、実際のデータと生成されたサンプルの両方を利用して、実際のデータ多様体の固有の測地線距離に近い距離メトリックを学習します。生成された距離メトリックは、マニホールドマッチングにさらに使用されます。 2つのネットワークは、トレーニングプロセス中に同時に学習されます。このアプローチは、教師なし学習タスクと教師あり学習タスクの両方に適用されます。無条件の画像生成タスクでは、提案された方法により、既存の生成モデルと比較して競争力のある結果が得られます。超解像タスクでは、知覚ベースのモデルにフレームワークを組み込み、より自然なテクスチャのサンプルを生成することで視覚品質を向上させます。理論的分析と実際のデータ実験の両方が、提案されたフレームワークの実現可能性と有効性を示しています。
We propose a manifold matching approach to generative models which includes a distribution generator (or data generator) and a metric generator. In our framework, we view the real data set as some manifold embedded in a high-dimensional Euclidean space. The distribution generator aims at generating samples that follow some distribution condensed around the real data manifold. It is achieved by matching two sets of points using their geometric shape descriptors, such as centroid and p-diameter, with learned distance metric; the metric generator utilizes both real data and generated samples to learn a distance metric which is close to some intrinsic geodesic distance on the real data manifold. The produced distance metric is further used for manifold matching. The two networks are learned simultaneously during the training process. We apply the approach on both unsupervised and supervised learning tasks: in unconditional image generation task, the proposed method obtains competitive results compared with existing generative models; in super-resolution task, we incorporate the framework in perception-based models and improve visual qualities by producing samples with more natural textures. Both theoretical analysis and real data experiments demonstrate the feasibility and effectiveness of the proposed framework.