arXiv reaDer
オブジェクトのウェイクアップ:単一の画像からの3Dオブジェクトの再構築、アニメーション、およびその場でのレンダリング
Object Wake-up: 3-D Object Reconstruction, Animation, and in-situ Rendering from a Single Image
椅子の写真が与えられた場合、椅子の3D形状を抽出し、そのもっともらしいアーティキュレーションとモーションをアニメーション化し、元の画像空間でその場でレンダリングできますか?上記の質問は、単一の画像内の関節のあるオブジェクトを抽出して操作するための自動化されたアプローチを考案するように促します。オブジェクトマニピュレーションに関するこれまでの取り組みと比較すると、私たちの作業は2D操作を超えて、明瞭なオブジェクトに焦点を合わせているため、オブジェクトの変形の可能性に対してより高い柔軟性がもたらされます。私たちのアプローチのパイプラインは、入力画像から対象のオブジェクトの3Dメッシュ表現を再構築および改良することから始まります。その制御ジョイントは、セマンティック部分のセグメンテーション情報を利用して予測されます。次に、取得したオブジェクトの3Dメッシュは、非剛体変形によってリギングされ、アニメーション化され、元の画像空間でその場でのモーションを実行するようにレンダリングされます。定量的評価は、単一の画像からの3D再構成で実行されます。これは、パイプラインに関連する確立されたタスクであり、結果はSOTAの結果を大幅に上回っています。広範な視覚的結果も、私たちのアプローチの適用可能性を示しています。
Given a picture of a chair, could we extract the 3-D shape of the chair, animate its plausible articulations and motions, and render in-situ in its original image space? The above question prompts us to devise an automated approach to extract and manipulate articulated objects in single images. Comparing with previous efforts on object manipulation, our work goes beyond 2-D manipulation and focuses on articulable objects, thus introduces greater flexibility for possible object deformations. The pipeline of our approach starts by reconstructing and refining a 3-D mesh representation of the object of interest from an input image; its control joints are predicted by exploiting the semantic part segmentation information; the obtained object 3-D mesh is then rigged \& animated by non-rigid deformation, and rendered to perform in-situ motions in its original image space. Quantitative evaluations are carried out on 3-D reconstruction from single images, an established task that is related to our pipeline, where our results surpass those of the SOTAs by a noticeable margin. Extensive visual results also demonstrate the applicability of our approach.
updated: Thu Aug 05 2021 16:20:12 GMT+0000 (UTC)
published: Thu Aug 05 2021 16:20:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト