光源の方向を条件として、ニューラルラディアンスフィールド(NeRF)の拡張を使用して、マルチビューフォトメトリックステレオ問題に取り組むことを提案します。ニューラル表現の幾何学的部分は表面の法線方向を予測し、局所的な表面反射率について推論できるようにします。神経表現の外観部分は、フィッティングプロセスの一部として学習された神経双方向反射率関数(BRDF)と、見かけのBRDFをモデル化できる影予測ネットワーク(光源の方向を条件とする)に分解されます。物理的な画像形成モデルに基づく誘導バイアスと学習されたコンポーネントのこのバランスにより、トレーニング中に観察された光源と視聴者の方向から遠く離れて外挿することができます。マルチビューフォトメトリックステレオベンチマークでのアプローチを示し、NeRFの神経密度表現で競争力のあるパフォーマンスが得られることを示します。
We propose to tackle the multiview photometric stereo problem using an extension of Neural Radiance Fields (NeRFs), conditioned on light source direction. The geometric part of our neural representation predicts surface normal direction, allowing us to reason about local surface reflectance. The appearance part of our neural representation is decomposed into a neural bidirectional reflectance function (BRDF), learnt as part of the fitting process, and a shadow prediction network (conditioned on light source direction) allowing us to model the apparent BRDF. This balance of learnt components with inductive biases based on physical image formation models allows us to extrapolate far from the light source and viewer directions observed during training. We demonstrate our approach on a multiview photometric stereo benchmark and show that competitive performance can be obtained with the neural density representation of a NeRF.