arXiv reaDer
場所:3D環境でのアーティキュレーションと接触の近接学習
PLACE: Proximity Learning of Articulation and Contact in 3D Environments
近年、忠実度の高いデジタル3D環境が提案されていますが、そのような環境に現実的な人体を自動的に装備することは依然として非常に困難です。既存の作業では、画像、深度またはセマンティックマップを使用してシーンを表現し、パラメトリック人間モデルを使用して3Dボディを表現します。単純明快ですが、生成された人間とシーンの相互作用は、多くの場合、自然性と物理的な妥当性に欠けています。私たちの重要な観察は、人間が身体とシーンの接触を通じて世界と相互作用することです。リアルな人間とシーンの相互作用を合成するには、身体と世界の間の物理的な接触と近接性を効果的に表現することが不可欠です。そのために、人体とその周囲の3Dシーンとの近接性を明示的にモデル化する、PLACE(3D環境におけるアーティキュレーションと接触の近接学習)という新しいインタラクション生成方法を提案します。具体的には、シーンメッシュ上の一連の基点が与えられた場合、条件付き変分オートエンコーダを利用して、基点から人体表面までの最小距離を合成します。生成された近位関係は、シーンのどの領域が人と接触しているかを示します。さらに、このように合成された近接性に基づいて、3Dシーンと自然に相互作用する表現力豊かな3D人体を効果的に取得することができます。私たちの知覚研究は、PLACEが最先端の方法を大幅に改善し、実際の人間とシーンの相互作用のリアリズムに近づくことを示しています。私たちの方法は、3Dシーンでリアルな3D人体を完全に自動合成するための重要な一歩になると信じています。コードとモデルは、https://sanweiliti.github.io/PLACE/PLACE.htmlで調査できます。
High fidelity digital 3D environments have been proposed in recent years, however, it remains extremely challenging to automatically equip such environment with realistic human bodies. Existing work utilizes images, depth or semantic maps to represent the scene, and parametric human models to represent 3D bodies. While being straightforward, their generated human-scene interactions are often lack of naturalness and physical plausibility. Our key observation is that humans interact with the world through body-scene contact. To synthesize realistic human-scene interactions, it is essential to effectively represent the physical contact and proximity between the body and the world. To that end, we propose a novel interaction generation method, named PLACE (Proximity Learning of Articulation and Contact in 3D Environments), which explicitly models the proximity between the human body and the 3D scene around it. Specifically, given a set of basis points on a scene mesh, we leverage a conditional variational autoencoder to synthesize the minimum distances from the basis points to the human body surface. The generated proximal relationship exhibits which region of the scene is in contact with the person. Furthermore, based on such synthesized proximity, we are able to effectively obtain expressive 3D human bodies that interact with the 3D scene naturally. Our perceptual study shows that PLACE significantly improves the state-of-the-art method, approaching the realism of real human-scene interaction. We believe our method makes an important step towards the fully automatic synthesis of realistic 3D human bodies in 3D scenes. The code and model are available for research at https://sanweiliti.github.io/PLACE/PLACE.html.
updated: Thu Nov 12 2020 16:21:17 GMT+0000 (UTC)
published: Wed Aug 12 2020 21:00:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト