arXiv reaDer
オブジェクトウェイクアップ:単一の画像からの3Dオブジェクトリギング
Object Wake-up: 3D Object Rigging from a Single Image
椅子などの一般的なオブジェクトの単一の画像が与えられた場合、そのもっともらしいアーティキュレーションと多様な動きをアニメーション化するために、人間のモデリングと同様のアーティキュレートされた3D形状を復元することもできますか?これは興味深い新しい質問であり、多数のダウンストリーム拡張現実および仮想現実アプリケーションが存在する可能性があります。オブジェクトマニピュレーションに関するこれまでの取り組みと比較すると、私たちの作業は2D操作や剛体変形を超えており、関節操作が含まれます。この目標を達成するために、単一の画像からそのような3D汎用オブジェクトを構築し、それらに関節式スケルトンを埋め込む自動化されたアプローチを提案します。具体的には、フレームワークは、入力画像から3Dオブジェクトを再構築することから始まります。その後、一般的な3Dオブジェクトのスケルトンを抽出するために、深い陰関数を利用して、スケルトン確率フィールド推定のためのマルチヘッド構造を備えた新しいスケルトン予測方法を開発します。グラウンドトゥルースの注釈付きスケルトンを持つ一般的な3Dオブジェクトのデータセットが収集されます。経験的に、私たちのアプローチは、社内データセットだけでなく公開データセットでも十分なパフォーマンスで実証されています。私たちの結果は、3D再構成とスケルトン予測の両方で、最先端の結果を大幅に上回っています。
Given a single image of a general object such as a chair, could we also restore its articulated 3D shape similar to human modeling, so as to animate its plausible articulations and diverse motions? This is an interesting new question that may have numerous downstream augmented reality and virtual reality applications. Comparing with previous efforts on object manipulation, our work goes beyond 2D manipulation and rigid deformation, and involves articulated manipulation. To achieve this goal, we propose an automated approach to build such 3D generic objects from single images and embed articulated skeletons in them. Specifically, our framework starts by reconstructing the 3D object from an input image. Afterwards, to extract skeletons for generic 3D objects, we develop a novel skeleton prediction method with a multi-head structure for skeleton probability field estimation by utilizing the deep implicit functions. A dataset of generic 3D objects with ground-truth annotated skeletons is collected. Empirically our approach is demonstrated with satisfactory performance on public datasets as well as our in-house dataset; our results surpass those of the state-of-the-arts by a noticeable margin on both 3D reconstruction and skeleton prediction.
updated: Wed Jul 06 2022 00:12:18 GMT+0000 (UTC)
published: Thu Aug 05 2021 16:20:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト