シングルビュー画像から3D形状を再構築することは、長年の研究課題でした。この論文では、基礎となる符号付き距離フィールドを予測することにより、2D画像から高品質の詳細な3Dメッシュを生成できるDeep Implicit SurfaceNetworkであるDISNを紹介します。 DISNは、グローバルな画像特徴を利用することに加えて、2D画像上の各3Dポイントの投影位置を予測し、画像特徴マップからローカル特徴を抽出します。グローバル機能とローカル機能を組み合わせると、特に詳細が豊富な領域の符号付き距離フィールド予測の精度が大幅に向上します。私たちの知る限り、DISNは、シングルビュー画像から3D形状に存在する穴や薄い構造などの詳細を常にキャプチャする最初の方法です。 DISNは、合成画像と実像の両方から再構成されたさまざまな形状カテゴリで、最先端のシングルビュー再構成パフォーマンスを実現します。コードはhttps://github.com/xharlie/DISNで入手できます。補足はhttps://xharlie.github.io/images/neurips_2019_supp.pdfにあります。
Reconstructing 3D shapes from single-view images has been a long-standing research problem. In this paper, we present DISN, a Deep Implicit Surface Network which can generate a high-quality detail-rich 3D mesh from an 2D image by predicting the underlying signed distance fields. In addition to utilizing global image features, DISN predicts the projected location for each 3D point on the 2D image, and extracts local features from the image feature maps. Combining global and local features significantly improves the accuracy of the signed distance field prediction, especially for the detail-rich areas. To the best of our knowledge, DISN is the first method that constantly captures details such as holes and thin structures present in 3D shapes from single-view images. DISN achieves the state-of-the-art single-view reconstruction performance on a variety of shape categories reconstructed from both synthetic and real images. Code is available at https://github.com/xharlie/DISN The supplementary can be found at https://xharlie.github.io/images/neurips_2019_supp.pdf