単一のビューからのまばらな部分的な観察から高品質の3Dオブジェクトを再構築することは、コンピュータービジョン、ロボット工学、およびグラフィックスのさまざまなアプリケーションにとって非常に重要です。最近のニューラル陰的モデリング手法は、合成データまたは高密度データで有望な結果を示していますが、スパースでノイズの多い実世界のデータではパフォーマンスが低下しています。人気のあるニューラル陰的モデルの制限は、ロバストな形状事前分布の欠如と適切な正則化の欠如によるものであることがわかりました。この作業では、以下を使用して高品質のインザワイルド形状再構成を示します。(i)形状潜在コードのロバストな初期化子としてのディープエンコーダー。 (ii)潜在コードの正規化されたテスト時間の最適化。 (iii)事前に学習された高次元形状としての深い弁別子。 (iv)モデルが合成データの形状の事前情報を学習し、それらをまばらな実世界のデータにスムーズに転送できるようにする新しいカリキュラム学習戦略。私たちのアプローチは、グローバルな構造をより適切に捉え、遮蔽されたまばらな観測でうまく機能し、グラウンドトゥルースの形状とうまく一致します。 2つの実世界のデータセットで、最先端の3Dオブジェクト再構成方法よりも優れたパフォーマンスを示します。
Reconstructing high-quality 3D objects from sparse, partial observations from a single view is of crucial importance for various applications in computer vision, robotics, and graphics. While recent neural implicit modeling methods show promising results on synthetic or dense data, they perform poorly on sparse and noisy real-world data. We discover that the limitations of a popular neural implicit model are due to lack of robust shape priors and lack of proper regularization. In this work, we demonstrate highquality in-the-wild shape reconstruction using: (i) a deep encoder as a robust-initializer of the shape latent-code; (ii) regularized test-time optimization of the latent-code; (iii) a deep discriminator as a learned high-dimensional shape prior; (iv) a novel curriculum learning strategy that allows the model to learn shape priors on synthetic data and smoothly transfer them to sparse real world data. Our approach better captures the global structure, performs well on occluded and sparse observations, and registers well with the ground-truth shape. We demonstrate superior performance over state-of-the-art 3D object reconstruction methods on two real-world datasets.