arXiv reaDer
CFAN-VAEによる表面の教師なし幾何学的解きほぐし
Unsupervised Geometric Disentanglement for Surfaces via CFAN-VAE
幾何学的解きほぐし、内在的(すなわちアイデンティティ)および外在的(すなわちポーズ)幾何学の潜在的コードの分離は、3D変形可能モデルなどの非ユークリッドデータの生成モデルにとって重要なタスクです。それは潜在空間のより優れた解釈可能性を提供し、生成のより多くの制御につながります。この作業では、メッシュ畳み込みオートエンコーダで使用するためのメッシュ機能、共形因子および通常機能(CFAN)を紹介します。さらに、CFAN機能を使用してアイデンティティとポーズを解きほぐす新しいアーキテクチャであるCFAN-VAEを提案します。 CFAN-VAEは、トレーニング中に身元やポーズに関するラベル情報を必要とせず、監視されていない方法で幾何学的な解きほぐしを実現します。再構成、補間、生成、アイデンティティ/ポーズ転送を含む私たちの包括的な実験は、CFAN-VAEが監視されていない幾何学的解きほぐしで最先端のパフォーマンスを達成することを示しています。また、潜在空間をCFAN-VAEの潜在空間に登録することにより、xyz座標を直接エンコードするメッシュ畳み込みオートエンコーダーの幾何学的解きほぐしのレベルを検出することに成功しました。
Geometric disentanglement, the separation of latent codes for intrinsic (i.e. identity) and extrinsic(i.e. pose) geometry, is a prominent task for generative models of non-Euclidean data such as 3D deformable models. It provides greater interpretability of the latent space, and leads to more control in generation. This work introduces a mesh feature, the conformal factor and normal feature (CFAN),for use in mesh convolutional autoencoders. We further propose CFAN-VAE, a novel architecture that disentangles identity and pose using the CFAN feature. Requiring no label information on the identity or pose during training, CFAN-VAE achieves geometric disentanglement in an unsupervisedway. Our comprehensive experiments, including reconstruction, interpolation, generation, and identity/pose transfer, demonstrate CFAN-VAE achieves state-of-the-art performance on unsupervised geometric disentanglement. We also successfully detect a level of geometric disentanglement in mesh convolutional autoencoders that encode xyz-coordinates directly by registering its latent space to that of CFAN-VAE.
updated: Thu Dec 10 2020 01:50:38 GMT+0000 (UTC)
published: Sat May 23 2020 23:28:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト