arXiv reaDer
NeRS:野生のスパースビュー3D再構成のための神経反射面
NeRS: Neural Reflectance Surfaces for Sparse-view 3D Reconstruction in the Wild
最近の歴史は、Neural Radiance Fields(NeRF)を通じて普及した、幾何学と放射輝度の暗黙の表現を探求する作業の途方もない成長を見てきました。このような作品は、基本的に占有率の(暗黙の)体積表現に基づいており、半透明のオブジェクトや大気の覆い隠しを含む多様なシーン構造をモデル化することができます。しかし、現実世界のシーンの大部分は明確に定義されたサーフェスで構成されているため、ニューラル反射サーフェス(NeRS)と呼ばれるそのような暗黙的なモデルのサーフェスアナログを紹介します。 NeRSは、球と微分同相写像である閉じた表面の神経形状表現を学習し、水密再構成を保証します。さらに重要なことに、表面パラメータ化により、NeRSは、ビューに依存する外観を環境照明、拡散色(アルベド)、および鏡面反射「光沢」に分解する(ニューラル)双方向表面反射関数(BRDF)を学習できます。最後に、合成シーンや制御されたラボ内キャプチャでの結果を説明するのではなく、商品を販売するためのオンラインマーケットプレイスからのマルチビュー画像の新しいデータセットを組み立てます。このような「野生の」マルチビュー画像セットは、カメラの推定値が不明/大まかな少数のビューを含む、多くの課題をもたらします。表面ベースの神経再構成がそのようなデータからの学習を可能にし、体積神経レンダリングベースの再構成よりも優れていることを示します。 NeRSが、現実世界の形状、材料、照明のスケーラブルで高品質なライブラリを構築するための第一歩として役立つことを願っています。コードとビデオの視覚化を含むプロジェクトページは、https://jasonyzhang.com/ners} {jasonyzhang.com/nersにあります。
Recent history has seen a tremendous growth of work exploring implicit representations of geometry and radiance, popularized through Neural Radiance Fields (NeRF). Such works are fundamentally based on a (implicit) volumetric representation of occupancy, allowing them to model diverse scene structure including translucent objects and atmospheric obscurants. But because the vast majority of real-world scenes are composed of well-defined surfaces, we introduce a surface analog of such implicit models called Neural Reflectance Surfaces (NeRS). NeRS learns a neural shape representation of a closed surface that is diffeomorphic to a sphere, guaranteeing water-tight reconstructions. Even more importantly, surface parameterizations allow NeRS to learn (neural) bidirectional surface reflectance functions (BRDFs) that factorize view-dependent appearance into environmental illumination, diffuse color (albedo), and specular "shininess." Finally, rather than illustrating our results on synthetic scenes or controlled in-the-lab capture, we assemble a novel dataset of multi-view images from online marketplaces for selling goods. Such "in-the-wild" multi-view image sets pose a number of challenges, including a small number of views with unknown/rough camera estimates. We demonstrate that surface-based neural reconstructions enable learning from such data, outperforming volumetric neural rendering-based reconstructions. We hope that NeRS serves as a first step toward building scalable, high-quality libraries of real-world shape, materials, and illumination. The project page with code and video visualizations can be found at https://jasonyzhang.com/ners}{jasonyzhang.com/ners.
updated: Thu Oct 14 2021 17:59:58 GMT+0000 (UTC)
published: Thu Oct 14 2021 17:59:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト