大きなシーンの3D再構成は、特に生成ニューラルネットワークの場合、ソリューションスペースの複雑さが高いため、困難な問題です。完全な生成プロセスをニューラルネットワークにエンコードし、シーンレベルでローカルの詳細を維持するのに苦労する可能性がある従来の生成学習モデルとは対照的に、トレーニングデータベースのシーンジオメトリを直接活用する新しい方法を紹介します。最初に、シーンデータベースから上位k個のボリュームチャンクのセットを取得することによって構築された、3Dシーンの初期推定を合成する方法を学びます。次に、これらの候補は、候補から最も一貫性のあるジオメトリのセットを効果的に選択し、それらを組み合わせて出力シーンを作成し、列車のシーンからの一貫した構造とローカルの詳細の転送を容易にする、注意ベースの絞り込みで最終的なシーン生成に絞り込まれます。ジオメトリ。スパースポイントクラウドからの3D超解像と表面再構成のタスク用のデータベースを使用して、ニューラルシーンの再構成を示します。これは、私たちのアプローチにより、よりコヒーレントで正確な3Dシーンの生成が可能になり、状態よりもIoUで平均8%以上向上することを示しています。最先端のシーンの再構成。
3D reconstruction of large scenes is a challenging problem due to the high-complexity nature of the solution space, in particular for generative neural networks. In contrast to traditional generative learned models which encode the full generative process into a neural network and can struggle with maintaining local details at the scene level, we introduce a new method that directly leverages scene geometry from the training database. First, we learn to synthesize an initial estimate for a 3D scene, constructed by retrieving a top-k set of volumetric chunks from the scene database. These candidates are then refined to a final scene generation with an attention-based refinement that can effectively select the most consistent set of geometry from the candidates and combine them together to create an output scene, facilitating transfer of coherent structures and local detail from train scene geometry. We demonstrate our neural scene reconstruction with a database for the tasks of 3D super resolution and surface reconstruction from sparse point clouds, showing that our approach enables generation of more coherent, accurate 3D scenes, improving on average by over 8% in IoU over state-of-the-art scene reconstruction.