arXiv reaDer
マルチビュー フォトメトリック ステレオの再訪
Multi-View Photometric Stereo Revisited
マルチビュー フォトメトリック ステレオ (MVPS) は、画像からオブジェクトを詳細かつ正確に 3D 取得するための推奨される方法です。 MVPS の一般的な方法は優れた結果を提供できますが、多くの場合、実行が複雑であり、等方性マテリアル オブジェクトに限定されます。このような制限に対処するために、MVPS へのシンプルで実用的なアプローチを提示します。これは、等方性だけでなく、異方性や光沢などの他のオブジェクト マテリアル タイプにも適しています。このホワイト ペーパーで提案されているアプローチでは、深層ニューラル ネットワークの不確実性モデリングの利点を活用して、フォトメトリック ステレオ (PS) とマルチビュー ステレオ (MVS) ネットワーク予測の信頼性の高い融合を実現します。しかし、最近提案された最新技術とは対照的に、MVS と PS 測定値の信頼できる融合のためのニューラル ボリューム レンダリング方法論を紹介します。ニューラル ボリューム レンダリングを導入する利点は、既存の MVS メソッド、PS メソッド、またはその両方が失敗する可能性がある、さまざまなマテリアル タイプを持つオブジェクトの信頼性の高いモデリングに役立つことです。さらに、ニューラル 3D 形状表現に取り組むことができます。これは最近、多くの幾何学的処理タスクで優れた結果を示しています。私たちが提案する新しい損失関数は、加重ニューラル ボリューム レンダリング コストと組み合わせた最も確実な MVS および PS ネットワーク予測を使用して、暗黙的ニューラル関数のゼロ レベル セットに適合することを目的としています。提案されたアプローチは、いくつかのベンチマーク データセットで広範囲にテストされたときに最先端の結果を示しています。
Multi-view photometric stereo (MVPS) is a preferred method for detailed and precise 3D acquisition of an object from images. Although popular methods for MVPS can provide outstanding results, they are often complex to execute and limited to isotropic material objects. To address such limitations, we present a simple, practical approach to MVPS, which works well for isotropic as well as other object material types such as anisotropic and glossy. The proposed approach in this paper exploits the benefit of uncertainty modeling in a deep neural network for a reliable fusion of photometric stereo (PS) and multi-view stereo (MVS) network predictions. Yet, contrary to the recently proposed state-of-the-art, we introduce neural volume rendering methodology for a trustworthy fusion of MVS and PS measurements. The advantage of introducing neural volume rendering is that it helps in the reliable modeling of objects with diverse material types, where existing MVS methods, PS methods, or both may fail. Furthermore, it allows us to work on neural 3D shape representation, which has recently shown outstanding results for many geometric processing tasks. Our suggested new loss function aims to fits the zero level set of the implicit neural function using the most certain MVS and PS network predictions coupled with weighted neural volume rendering cost. The proposed approach shows state-of-the-art results when tested extensively on several benchmark datasets.
updated: Fri Oct 14 2022 09:46:15 GMT+0000 (UTC)
published: Fri Oct 14 2022 09:46:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト