学習ベースの表現は、多くのコンピュータビジョンシステムの成功の鍵となっています。多くの3D表現が提案されていますが、動的に変化する3Dオブジェクトをどのように表現するかについては未解決の問題です。この論文では、4Dキャプチャの構成表現、つまり、形状、初期状態、および動きをそれぞれ解きほぐす、時間スパンにわたる変形する3Dオブジェクトを紹介します。各コンポーネントは、トレーニングされたエンコーダーを介して潜在的なコードで表されます。モーションをモデル化するために、学習したモーションコードを条件とする初期状態を更新するようにニューラル常微分方程式(ODE)がトレーニングされ、デコーダーが形状コードと更新されたポーズコードを取得して、各タイムスタンプで4Dキャプチャを再構築します。この目的のために、ネットワークが各コンポーネントを効果的に分離することを学習することを奨励するために、Identity Exchange Training(IET)戦略を提案します。広範な実験により、提案された方法は、4D再構成に関する既存の最先端の深層学習ベースの方法よりも優れており、モーションの転送や完了などのさまざまなタスクが大幅に改善されることが示されています。
Learning based representation has become the key to the success of many computer vision systems. While many 3D representations have been proposed, it is still an unaddressed problem for how to represent a dynamically changing 3D object. In this paper, we introduce a compositional representation for 4D captures, i.e. a deforming 3D object over a temporal span, that disentangles shape, initial state, and motion respectively. Each component is represented by a latent code via a trained encoder. To model the motion, a neural Ordinary Differential Equation (ODE) is trained to update the initial state conditioned on the learned motion code, and a decoder takes the shape code and the updated pose code to reconstruct 4D captures at each time stamp. To this end, we propose an Identity Exchange Training (IET) strategy to encourage the network to learn effectively decoupling each component. Extensive experiments demonstrate that the proposed method outperforms existing state-of-the-art deep learning based methods on 4D reconstruction, and significantly improves on various tasks, including motion transfer and completion.