一連の平面断面から 3D オブジェクトを再構築するための現在の方法は、詳細なトポロジをキャプチャするのに苦労したり、かなりの数の断面を必要としたりします。この論文では、私たちの知る限り、このタスクを解決するための最初の 3D 形状再構成ネットワークを提示します。これは、形状の正投影をさらに使用します。私たちの方法は、強化学習アルゴリズムを適用して、スカラー報酬に依存する試行錯誤スキームを使用して形状を効果的に解析する方法を学習することに基づいています。この方法は、各ステップで 3D 形状の一部を切り取り、ポリゴン メッシュとして近似します。エージェントは、近似部分の表面再構成の精度に依存する報酬を最大化することを目指しています。また、ヒューリスティックなアプローチによって生成されたデモンストレーションを使用して、より高速に学習するためのネットワークの事前トレーニングも検討します。実験では、模倣学習と自己探索の両方から恩恵を受けるトレーニング アルゴリズムが効率的なポリシーをより速く学習し、エージェントが視覚的に説得力のある結果を生成することが示されています。
Current methods for 3D object reconstruction from a set of planar cross-sections still struggle to capture detailed topology or require a considerable number of cross-sections. In this paper, we present, to the best of our knowledge the first 3D shape reconstruction network to solve this task which additionally uses orthographic projections of the shape. Our method is based on applying a Reinforcement Learning algorithm to learn how to effectively parse the shape using a trial-and-error scheme relying on scalar rewards. This method cuts a part of a 3D shape in each step which is then approximated as a polygon mesh. The agent aims to maximize the reward that depends on the accuracy of surface reconstruction for the approximated parts. We also consider pre-training of the network for faster learning using demonstrations generated by a heuristic approach. Experiments show that our training algorithm which benefits from both imitation learning and also self exploration, learns efficient policies faster, which results the agent to produce visually compelling results.