arXiv reaDer
GLASS: Geometric Latent Augmentation for Shape Spaces
3Dモデルの非常にまばらなコレクションで生成モデルをトレーニングする問題を調査します。幾何学的に動機付けられたエネルギーを使用して、サンプル(トレーニング)モデルのまばらなコレクションを増強し、ブーストします。可能な限り剛性(ARAP)エネルギーのヘッセ行列を分析して、基礎となる(ローカル)形状空間からサンプリングして投影し、拡張データセットを使用して変分オートエンコーダー(VAE)をトレーニングします。 VAEの潜在空間を構築し、関連するデータセットを拡張するプロセスを繰り返して、幾何学的および意味的に有効なサンプルを作成するための、より豊かで表現力豊かな生成空間を徐々に明らかにします。私たちのフレームワークにより、通常はキュレートが難しい高品質の3Dモデルの小さなセットを使用しても、生成的な3Dモデルをトレーニングできます。一連の強力なベースラインに対してメソッドを広範囲に評価し、アブレーションスタディを提供し、形状の対応を確立するためのアプリケーションを示します。わずか3〜10個のトレーニング形状から始めた場合でも、興味深く意味のある形状バリエーションの複数の例を示します。
We investigate the problem of training generative models on a very sparse collection of 3D models. We use geometrically motivated energies to augment and thus boost a sparse collection of example (training) models. We analyze the Hessian of the as-rigid-as-possible (ARAP) energy to sample from and project to the underlying (local) shape space, and use the augmented dataset to train a variational autoencoder (VAE). We iterate the process of building latent spaces of VAE and augmenting the associated dataset, to progressively reveal a richer and more expressive generative space for creating geometrically and semantically valid samples. Our framework allows us to train generative 3D models even with a small set of good quality 3D models, which are typically hard to curate. We extensively evaluate our method against a set of strong baselines, provide ablation studies and demonstrate application towards establishing shape correspondences. We present multiple examples of interesting and meaningful shape variations even when starting from as few as 3-10 training shapes.
updated: Mon Aug 09 2021 17:34:42 GMT+0000 (UTC)
published: Fri Aug 06 2021 17:56:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト