単眼画像からの3Dオブジェクト再構成のための新しい深層強化学習ベースのアプローチを提案します。メッシュ表現を使用する以前の作品はテンプレートベースです。したがって、それらはテンプレートと同じトポロジを持つオブジェクトの再構築に限定されます。中間表現としてボリュームグリッドを使用する方法は、計算コストが高く、リアルタイムシナリオでのアプリケーションが制限されます。本論文では、単眼画像から任意のトポロジーの3Dオブジェクトを再構築する新しいエンドツーエンドの方法を提案します。これは、(1)入力RGB画像からオブジェクトの頂点の初期3D位置を予測する頂点生成ネットワーク(VGN)、(2)教師なしで学習する微分可能な三角測量レイヤーで構成されます。新しい強化学習アルゴリズム、オブジェクトの頂点の最適な三角形分割、そして最後に、(3)グラフの畳み込みを使用して初期メッシュをリファインする階層メッシュリファインネットワーク。私たちの主な貢献は、教師なしの方法で入力形状のトポロジーを回復する学習可能な三角測量プロセスです。 ShapeNetおよびPix3Dベンチマークに関する私たちの実験は、提案された方法が、視覚的品質、再構成精度、および計算時間の点で最先端を上回っていることを示しています。
We propose a novel deep reinforcement learning-based approach for 3D object reconstruction from monocular images. Prior works that use mesh representations are template based. Thus, they are limited to the reconstruction of objects that have the same topology as the template. Methods that use volumetric grids as intermediate representations are computationally expensive, which limits their application in real-time scenarios. In this paper, we propose a novel end-to-end method that reconstructs 3D objects of arbitrary topology from a monocular image. It is composed of of (1) a Vertex Generation Network (VGN), which predicts the initial 3D locations of the object's vertices from an input RGB image, (2) a differentiable triangulation layer, which learns in a non-supervised manner, using a novel reinforcement learning algorithm, the best triangulation of the object's vertices, and finally, (3) a hierarchical mesh refinement network that uses graph convolutions to refine the initial mesh. Our key contribution is the learnable triangulation process, which recovers in an unsupervised manner the topology of the input shape. Our experiments on ShapeNet and Pix3D benchmarks show that the proposed method outperforms the state-of-the-art in terms of visual quality, reconstruction accuracy, and computational time.