arXiv reaDer
一般的な表面のフォトメトリックステレオ用のキャリブレーションされていないニューラルインバースレンダリング
Uncalibrated Neural Inverse Rendering for Photometric Stereo of General Surfaces
この論文は、フォトメトリックステレオ問題のための未較正のディープニューラルネットワークフレームワークを提示します。問題を解決するためのトレーニングモデルの場合、既存のニューラルネットワークベースの方法では、正確な光の方向またはオブジェクトのグラウンドトゥルースサーフェス法線、あるいはその両方が必要です。ただし、実際には、この両方の情報を正確に取得することは困難であり、視覚アプリケーションでのフォトメトリックステレオアルゴリズムの幅広い採用が制限されます。この困難を回避するために、この問題に対する未校正のニューラル逆レンダリングアプローチを提案します。私たちの方法は、最初に入力画像から光の方向を推定し、次に画像再構成損失を最適化して、表面法線、双方向反射率分布関数値、および深さを計算します。さらに、私たちの定式化は、複雑な表面の凹面部分と凸面部分を明示的にモデル化して、画像形成プロセスにおける相互反射の影響を考慮します。挑戦的な主題に関する提案された方法の広範な評価は、一般に、教師ありおよび古典的なアプローチと同等またはそれ以上の結果を示しています。
This paper presents an uncalibrated deep neural network framework for the photometric stereo problem. For training models to solve the problem, existing neural network-based methods either require exact light directions or ground-truth surface normals of the object or both. However, in practice, it is challenging to procure both of this information precisely, which restricts the broader adoption of photometric stereo algorithms for vision application. To bypass this difficulty, we propose an uncalibrated neural inverse rendering approach to this problem. Our method first estimates the light directions from the input images and then optimizes an image reconstruction loss to calculate the surface normals, bidirectional reflectance distribution function value, and depth. Additionally, our formulation explicitly models the concave and convex parts of a complex surface to consider the effects of interreflections in the image formation process. Extensive evaluation of the proposed method on the challenging subjects generally shows comparable or better results than the supervised and classical approaches.
updated: Sat Dec 12 2020 10:33:08 GMT+0000 (UTC)
published: Sat Dec 12 2020 10:33:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト