arXiv reaDer
NeuralRoom: 屋内シーン再構築のための幾何学的に制約されたニューラル陰示面
NeuralRoom: Geometry-Constrained Neural Implicit Surfaces for Indoor Scene Reconstruction
一連の 2D 画像から部屋サイズの屋内シーンを直接再構築するための NeuralRoom と呼ばれる新しい神経表面再構築法を提示します。最近、暗黙的なニューラル表現は、高品質の結果とシンプルさにより、マルチビュー画像から表面を再構築する有望な方法になりました。ただし、暗黙的なニューラル表現は通常、屋内シーンをうまく再構築できません。屋内シーンは、テクスチャが豊富な領域と平坦なテクスチャのない領域で構成されていると想定しています。テクスチャが豊富な領域では、マルチビュー ステレオは正確な結果を得ることができます。平坦な領域では、正規推定ネットワークは通常、適切な正規推定を取得します。上記の観察に基づいて、形状と放射輝度のあいまいさを軽減するために、信頼できる幾何学的事前確率によって暗黙的な神経表面の可能な空間変動範囲を減らします。具体的には、マルチビュー ステレオの結果を使用して NeuralRoom 最適化スペースを制限し、信頼できる幾何学的事前分布を使用して NeuralRoom トレーニングをガイドします。次に、NeuralRoom は、入力トレーニング画像と一致する画像をレンダリングできるニューラル シーン表現を生成します。さらに、摂動残差制限と呼ばれる平滑化方法を提案して、平坦領域の精度と完全性を改善します。これは、局所表面のサンプリング点が観測中心に対して同じ法線と同様の距離を持つ必要があることを前提としています。 ScanNet データセットの実験では、詳細の精度を維持しながら、屋内シーンのテクスチャのない領域を再構築できることがわかりました。また、NeuralRoom をより高度なマルチビュー再構成アルゴリズムに適用し、再構成の品質を大幅に向上させます。
We present a novel neural surface reconstruction method called NeuralRoom for reconstructing room-sized indoor scenes directly from a set of 2D images. Recently, implicit neural representations have become a promising way to reconstruct surfaces from multiview images due to their high-quality results and simplicity. However, implicit neural representations usually cannot reconstruct indoor scenes well because they suffer severe shape-radiance ambiguity. We assume that the indoor scene consists of texture-rich and flat texture-less regions. In texture-rich regions, the multiview stereo can obtain accurate results. In the flat area, normal estimation networks usually obtain a good normal estimation. Based on the above observations, we reduce the possible spatial variation range of implicit neural surfaces by reliable geometric priors to alleviate shape-radiance ambiguity. Specifically, we use multiview stereo results to limit the NeuralRoom optimization space and then use reliable geometric priors to guide NeuralRoom training. Then the NeuralRoom would produce a neural scene representation that can render an image consistent with the input training images. In addition, we propose a smoothing method called perturbation-residual restrictions to improve the accuracy and completeness of the flat region, which assumes that the sampling points in a local surface should have the same normal and similar distance to the observation center. Experiments on the ScanNet dataset show that our method can reconstruct the texture-less area of indoor scenes while maintaining the accuracy of detail. We also apply NeuralRoom to more advanced multiview reconstruction algorithms and significantly improve their reconstruction quality.
updated: Thu Oct 13 2022 09:04:22 GMT+0000 (UTC)
published: Thu Oct 13 2022 09:04:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト