深層学習ベースの3D形状生成方法は、一般に、カラー画像から抽出された潜在的特徴を利用して、オブジェクトのセマンティクスをエンコードし、形状生成プロセスをガイドします。これらのカラー画像セマンティクスは、3D情報を暗黙的にエンコードするだけであり、生成される形状の精度を制限する可能性があります。本論文では、マルチビューステレオの中間深度表現からの特徴を使用し、これらの深度画像に対して3D形状を正則化することにより、ジオメトリ情報を明示的に組み込むマルチビューメッシュ生成方法を提案します。まず、私たちのシステムは、個々のビューの予測からボクセル占有グリッドを確率的にマージすることにより、カラー画像から粗い3Dボリュームを予測します。次に、マルチビューステレオからの深度画像と粗い形状のレンダリングされた深度画像が対照的な入力として使用されます。その特徴は、一連のグラフ畳み込みネットワークを通じて粗い形状の改良をガイドします。特に、ShapeNetデータセットの面取り距離が34%減少し、F1スコアが14%増加するという、最先端のマルチビュー形状生成方法よりも優れた結果が得られます。ソースコードはhttps:で入手できます。 //git.io/Jmalg
Deep learning based 3D shape generation methods generally utilize latent features extracted from color images to encode the semantics of objects and guide the shape generation process. These color image semantics only implicitly encode 3D information, potentially limiting the accuracy of the generated shapes. In this paper we propose a multi-view mesh generation method which incorporates geometry information explicitly by using the features from intermediate depth representations of multi-view stereo and regularizing the 3D shapes against these depth images. First, our system predicts a coarse 3D volume from the color images by probabilistically merging voxel occupancy grids from the prediction of individual views. Then the depth images from multi-view stereo along with the rendered depth images of the coarse shape are used as a contrastive input whose features guide the refinement of the coarse shape through a series of graph convolution networks. Notably, we achieve superior results than state-of-the-art multi-view shape generation methods with 34% decrease in Chamfer distance to ground truth and 14% increase in F1-score on ShapeNet dataset.Our source code is available at https://git.io/Jmalg