関節のあるオブジェクトの単一の画像から静止状態 (つまり、関節のない) 3D モデルにモーションを転送するためのニューラル ネットワーク アプローチを提示します。私たちのネットワークは、入力画像に示されている関節を再現するために、オブジェクトのポーズ、パーツのセグメンテーション、および対応するモーション パラメーターを予測することを学習します。このネットワークは、共有のジョイント イメージ形状埋め込みを使用する 3 つの異なるブランチで構成され、エンドツーエンドでトレーニングされます。以前の方法とは異なり、私たちのアプローチはオブジェクトのトポロジに依存せず、任意のカテゴリのオブジェクトを処理できます。合成データのみでトレーニングされた私たちの方法は、メッシュを自動的にアニメーション化し、実際の画像からモーションを推測し、テスト時に関節を機能的に類似しているが幾何学的に異なる 3D モデルに転送するために使用できます。
We present a neural network approach to transfer the motion from a single image of an articulated object to a rest-state (i.e., unarticulated) 3D model. Our network learns to predict the object's pose, part segmentation, and corresponding motion parameters to reproduce the articulation shown in the input image. The network is composed of three distinct branches that take a shared joint image-shape embedding and is trained end-to-end. Unlike previous methods, our approach is independent of the topology of the object and can work with objects from arbitrary categories. Our method, trained with only synthetic data, can be used to automatically animate a mesh, infer motion from real images, and transfer articulation to functionally similar but geometrically distinct 3D models at test time.