学習ベースの3D再構成に対応する3D形状表現は、機械学習とコンピューターグラフィックスの未解決の問題です。ニューラル3D再構成に関する以前の作業では、点群、ボクセル、表面メッシュ、および陰関数表現の利点だけでなく、制限も示されました。再構成問題に体積四面体メッシュを利用する特定のパラメーター化として、変形可能な四面体メッシュ(DefTet)を紹介します。既存のボリュームアプローチとは異なり、DefTetは頂点の配置と占有の両方を最適化し、標準の3D再構成損失関数に関して微分可能です。したがって、同時に高精度でボリュームがあり、学習ベースのニューラルアーキテクチャに適しています。それが任意の複雑なトポロジーを表すことができ、メモリと計算効率の両方があり、代替のボリュームアプローチよりも大幅に小さいグリッドサイズで忠実度の高い再構成を生成できることを示します。予測されたサーフェスも本質的に四面体メッシュとして定義されているため、後処理は必要ありません。 DefTetは、以前の最良のアプローチの品質と最速のアプローチのパフォーマンスの両方に匹敵するか、それを上回っていることを示しています。私たちのアプローチは、ノイズの多い点群から直接計算された高品質の四面体メッシュを取得し、単一の画像のみを入力として使用して高品質の3D四面体メッシュの結果を初めて紹介します。
3D shape representations that accommodate learning-based 3D reconstruction are an open problem in machine learning and computer graphics. Previous work on neural 3D reconstruction demonstrated benefits, but also limitations, of point cloud, voxel, surface mesh, and implicit function representations. We introduce Deformable Tetrahedral Meshes (DefTet) as a particular parameterization that utilizes volumetric tetrahedral meshes for the reconstruction problem. Unlike existing volumetric approaches, DefTet optimizes for both vertex placement and occupancy, and is differentiable with respect to standard 3D reconstruction loss functions. It is thus simultaneously high-precision, volumetric, and amenable to learning-based neural architectures. We show that it can represent arbitrary, complex topology, is both memory and computationally efficient, and can produce high-fidelity reconstructions with a significantly smaller grid size than alternative volumetric approaches. The predicted surfaces are also inherently defined as tetrahedral meshes, thus do not require post-processing. We demonstrate that DefTet matches or exceeds both the quality of the previous best approaches and the performance of the fastest ones. Our approach obtains high-quality tetrahedral meshes computed directly from noisy point clouds, and is the first to showcase high-quality 3D tet-mesh results using only a single image as input.