arXiv reaDer
NeROIC:オンライン画像コレクションからのオブジェクトのニューラルレンダリング
NeROIC: Neural Rendering of Objects from Online Image Collections
オンライン画像コレクションからオブジェクト表現を取得し、さまざまなカメラ、照明、背景の写真から任意のオブジェクトの高品質のジオメトリとマテリアルプロパティをキャプチャする新しい方法を紹介します。これにより、斬新なビューの合成、再照明、困難な野生の入力からの調和した背景構成など、さまざまなオブジェクト中心のレンダリングアプリケーションが可能になります。ニューラル放射輝度フィールドを拡張する多段階アプローチを使用して、最初に表面ジオメトリを推測し、粗く推定された初期カメラパラメータを改良し、粗い前景オブジェクトマスクを活用してトレーニング効率とジオメトリ品質を向上させます。また、重要な詳細を保持しながら、幾何学的ノイズの影響を排除するロバストな法線推定手法を紹介します。最後に、表面のマテリアルプロパティと周囲の照明を抽出します。これは、鋭い影などの一時的な要素を処理する拡張機能を備えた球面調和関数で表されます。これらのコンポーネントを統合することで、高度にモジュール化された効率的なオブジェクト取得フレームワークが実現します。広範な評価と比較により、レンダリングアプリケーションに役立つ高品質のジオメトリと外観プロパティをキャプチャするという私たちのアプローチの利点が実証されています。
We present a novel method to acquire object representations from online image collections, capturing high-quality geometry and material properties of arbitrary objects from photographs with varying cameras, illumination, and backgrounds. This enables various object-centric rendering applications such as novel-view synthesis, relighting, and harmonized background composition from challenging in-the-wild input. Using a multi-stage approach extending neural radiance fields, we first infer the surface geometry and refine the coarsely estimated initial camera parameters, while leveraging coarse foreground object masks to improve the training efficiency and geometry quality. We also introduce a robust normal estimation technique which eliminates the effect of geometric noise while retaining crucial details. Lastly, we extract surface material properties and ambient illumination, represented in spherical harmonics with extensions that handle transient elements, e.g. sharp shadows. The union of these components results in a highly modular and efficient object acquisition framework. Extensive evaluations and comparisons demonstrate the advantages of our approach in capturing high-quality geometry and appearance properties useful for rendering applications.
updated: Fri Jan 07 2022 16:45:15 GMT+0000 (UTC)
published: Fri Jan 07 2022 16:45:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト