arXiv reaDer
条件付き敵対ネットワークによる単一画像BRDFパラメータ推定
Single Image BRDF Parameter Estimation with a Conditional Adversarial Network
  もっともらしい表面を作成することは、レンダリングで高度なリアリズムを実現するための重要な要素です。時間のかかる手動プロセスでこれらのサーフェスを作成するアーティストを緩和するには、単一の携帯電話画像から空間的に変化する双方向反射分布関数(SVBRDF)を自動的に取得することが望ましいです。ディープニューラルネットワークを活用することで、このカジュアルなキャプチャ方法を実現できます。訓練されたネットワークは、ディズニーBRDFからピクセル、法線、ベースカラー、メタリック、粗さのパラメーターを推定できます。入力画像は、カメラのフラッシュで照らされた携帯電話で撮影されます。ネットワークは、環境照明を補正するようにトレーニングされているため、他の光源によって導入されるアーティファクトを減らすことができます。これらの損失には、知覚損失が追加されたマルチスケール弁別器、微分可能なレンダラーを使用したレンダリング損失、およびパラメーター損失が含まれます。局所的な精度に加えて、この損失定式化により、全体的に一貫したマテリアルテクスチャマップが生成されます。このネットワークは、もっともらしいマップのみが生成されるように、敵対的な方法でトレーニングされたジェネレーターネットワークとして設定されます。推定されたパラメーターは、レンダリングを忠実に再現するだけでなく、追加のポストプロセスを必要とせずに、以前の作品と比較してよりグローバルな損失条件のため、手書きの素材のスタイルをキャプチャします。解像度と品質の両方が改善されます。
Creating plausible surfaces is an essential component in achieving a high degree of realism in rendering. To relieve artists, who create these surfaces in a time-consuming, manual process, automated retrieval of the spatially-varying Bidirectional Reflectance Distribution Function (SVBRDF) from a single mobile phone image is desirable. By leveraging a deep neural network, this casual capturing method can be achieved. The trained network can estimate per pixel normal, base color, metallic and roughness parameters from the Disney BRDF. The input image is taken with a mobile phone lit by the camera flash. The network is trained to compensate for environment lighting and thus learned to reduce artifacts introduced by other light sources. These losses contain a multi-scale discriminator with an additional perceptual loss, a rendering loss using a differentiable renderer, and a parameter loss. Besides the local precision, this loss formulation generates material texture maps which are globally more consistent. The network is set up as a generator network trained in an adversarial fashion to ensure that only plausible maps are produced. The estimated parameters not only reproduce the material faithfully in rendering but capture the style of hand-authored materials due to the more global loss terms compared to previous works without requiring additional post-processing. Both the resolution and the quality is improved.
updated: Fri Oct 11 2019 13:00:06 GMT+0000 (UTC)
published: Fri Oct 11 2019 13:00:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト