ディープラーニングを活用した最近の画期的な進歩のおかげで、単一または複数の画像からオブジェクトの3D形状を推定することが人気を博しています。ほとんどのアプローチは、正規のポーズでオブジェクトの形状全体を回帰し、学習した事前情報に基づいて閉塞部分を推定する可能性があります。ただし、それらの視点不変手法では、入力画像から見える固有の構造が破棄されることがよくあります。対照的に、この論文は、与えられたビューからの可視情報をマージすることによって、視点バリアントの再構築に依存することを提案します。私たちのアプローチは3つのステップに分かれています。オブジェクトのまばらなビューから始めて、最初に、すべてのペア間の相対的なポーズを推定することにより、それらを共通の座標系に位置合わせします。次に、従来のボクセル彫刻に触発されて、画像のシルエットとそれらの相対的なポーズから取得したオブジェクトの占有グリッドを生成します。最後に、最初の再構成を改良して、各視点からの詳細を保持するクリーンな3Dモデルを構築します。提案された方法を検証するために、相対的な姿勢推定と3D形状再構成の観点からShapeNet参照ベンチマークの包括的な評価を実行します。
Estimating the 3D shape of an object from a single or multiple images has gained popularity thanks to the recent breakthroughs powered by deep learning. Most approaches regress the full object shape in a canonical pose, possibly extrapolating the occluded parts based on the learned priors. However, their viewpoint invariant technique often discards the unique structures visible from the input images. In contrast, this paper proposes to rely on viewpoint variant reconstructions by merging the visible information from the given views. Our approach is divided into three steps. Starting from the sparse views of the object, we first align them into a common coordinate system by estimating the relative pose between all the pairs. Then, inspired by the traditional voxel carving, we generate an occupancy grid of the object taken from the silhouette on the images and their relative poses. Finally, we refine the initial reconstruction to build a clean 3D model which preserves the details from each viewpoint. To validate the proposed method, we perform a comprehensive evaluation on the ShapeNet reference benchmark in terms of relative pose estimation and 3D shape reconstruction.