arXiv reaDer
生成的潜在形状モデルにおける幾何学的変形空間のもつれを解く
Disentangling Geometric Deformation Spaces in Generative Latent Shape Models
3Dオブジェクトを完全に表現するには、単一のインスタンスのアーティキュレーションからカテゴリ間の形状の変化まで、変形の空間を解釈可能な方法で特徴づける必要があります。この作業では、オブジェクトジオメトリの空間が剛体の向き、非剛体のポーズ、および固有の形状に因数分解される、3D形状の幾何学的解きほぐしの以前の生成モデルを改善します。結果として得られるモデルは、古典的なスペクトル幾何学と構造化された潜在表現空間の確率的解きほぐしの組み合わせを使用して、対応、ラベル、または厳密な位置合わせなしで、生の3D形状からトレーニングできます。私たちの改善には、回転不変性のより洗練された処理と、潜在空間とスペクトル空間を橋渡しするための微分同相フローネットワークの使用が含まれます。潜在空間の幾何学的構造は、オブジェクトの変形空間の解釈可能な特性を与えます。さらに、監視を必要とせずに、ポーズの転送やポーズを意識した検索などのタスクを実行できます。モデルを生成モデリング、表現学習、および解きほぐしのパフォーマンスで評価し、以前のモデルよりも回転不変性と内在的外因性因数分解の品質が向上していることを示しています。
A complete representation of 3D objects requires characterizing the space of deformations in an interpretable manner, from articulations of a single instance to changes in shape across categories. In this work, we improve on a prior generative model of geometric disentanglement for 3D shapes, wherein the space of object geometry is factorized into rigid orientation, non-rigid pose, and intrinsic shape. The resulting model can be trained from raw 3D shapes, without correspondences, labels, or even rigid alignment, using a combination of classical spectral geometry and probabilistic disentanglement of a structured latent representation space. Our improvements include more sophisticated handling of rotational invariance and the use of a diffeomorphic flow network to bridge latent and spectral space. The geometric structuring of the latent space imparts an interpretable characterization of the deformation space of an object. Furthermore, it enables tasks like pose transfer and pose-aware retrieval without requiring supervision. We evaluate our model on its generative modelling, representation learning, and disentanglement performance, showing improved rotation invariance and intrinsic-extrinsic factorization quality over the prior model.
updated: Sat Feb 27 2021 06:54:31 GMT+0000 (UTC)
published: Sat Feb 27 2021 06:54:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト