メッシュオートエンコーダは、次元削減、サンプリング、メッシュモデリングによく使用されます。グラフ畳み込みメッシュオートエンコーダーに新規の埋め込み変形レイヤーを追加する汎用DEep MEshオートエンコーダー(DEMEA)を提案します。埋め込み変形レイヤー(EDL)は、低次元空間における非剛体変形の点変位を明示的にモデル化し、局所的な剛体正則化機能として機能する微分可能な変形可能な幾何学的プロキシーです。 DEMEAは、変形が低次元の埋め込み変形グラフ上で定義されるため、変形のパラメーター化を最終的なメッシュ解像度から切り離します。変形可能なオブジェクトの4つの異なるデータセットに対して大規模な研究を行います。 EDLを使用してメッシュのローカル剛性を推論することにより、直接回帰する頂点位置と比較して、非常に変形可能なオブジェクトに対してより高品質の結果を得ることができます。深さやシェーディングキューからの非剛体3D再構築、非剛体サーフェストラッキング、異なるメッシュ上の変形の転送など、DEMEAの複数のアプリケーションを示します。
Mesh autoencoders are commonly used for dimensionality reduction, sampling and mesh modeling. We propose a general-purpose DEep MEsh Autoencoder (DEMEA) which adds a novel embedded deformation layer to a graph-convolutional mesh autoencoder. The embedded deformation layer (EDL) is a differentiable deformable geometric proxy which explicitly models point displacements of non-rigid deformations in a lower dimensional space and serves as a local rigidity regularizer. DEMEA decouples the parameterization of the deformation from the final mesh resolution since the deformation is defined over a lower dimensional embedded deformation graph. We perform a large-scale study on four different datasets of deformable objects. Reasoning about the local rigidity of meshes using EDL allows us to achieve higher-quality results for highly deformable objects, compared to directly regressing vertex positions. We demonstrate multiple applications of DEMEA, including non-rigid 3D reconstruction from depth and shading cues, non-rigid surface tracking, as well as the transfer of deformations over different meshes.