簡単なキャプチャ、一貫した補間、および視覚的なマテリアルの外観の効率的な再現のための潜在的なスペースを学習します。ユーザーが懐中電灯の照明の下でキャプチャされた静止した天然素材の写真を提供すると、最初にそれが潜在的な素材コードに変換されます。次に、マテリアルコードを条件として、2番目のステップで、BRDFモデルパラメータ(拡散アルベド、法線、粗さ、鏡面アルベド)の無限で多様な空間フィールドを生成します。これにより、複雑なシーンや照明でのレンダリングが可能になり、外観が一致します。入力写真の。技術的には、畳み込みエンコーダーを使用してすべてのフラッシュ画像を潜在空間に共同で埋め込み、これらの潜在コードを条件として、畳み込みニューラルネットワーク(CNN)を使用してランダム空間フィールドをBRDFパラメーターのフィールドに変換します。これらのBRDFパラメーターを条件付けして、一致する光の下で入力の視覚的特性(視覚的特徴の統計とスペクトル)を一致させます。ユーザー調査では、BRDF監視にアクセスできる場合でも、私たちのアプローチを以前の作業と比較しています。
We learn a latent space for easy capture, consistent interpolation, and efficient reproduction of visual material appearance. When users provide a photo of a stationary natural material captured under flashlight illumination, first it is converted into a latent material code. Then, in the second step, conditioned on the material code, our method produces an infinite and diverse spatial field of BRDF model parameters (diffuse albedo, normals, roughness, specular albedo) that subsequently allows rendering in complex scenes and illuminations, matching the appearance of the input photograph. Technically, we jointly embed all flash images into a latent space using a convolutional encoder, and -- conditioned on these latent codes -- convert random spatial fields into fields of BRDF parameters using a convolutional neural network (CNN). We condition these BRDF parameters to match the visual characteristics (statistics and spectra of visual features) of the input under matching light. A user study compares our approach favorably to previous work, even those with access to BRDF supervision.