arXiv reaDer
Learning to Predict 3D Objects with an Interpolation-based Differentiable Renderer
 多くの機械学習モデルは画像を操作しますが、画像はレンダリングと呼ばれるプロセスで光と相互作用する3Dジオメトリによって形成される2D投影であるという事実を無視します。 MLモデルが画像形成を理解できるようにすることが、一般化の鍵になる可能性があります。ただし、個別の割り当て操作を含む重要なラスタ化ステップのため、レンダリングパイプラインは微分不可能であり、したがって、勾配ベースのML手法ではほとんどアクセスできません。このペーパーでは、画像内のすべてのピクセルの勾配を分析的に計算できる微分可能なレンダリングフレームワークであるDIB-Rを紹介します。私たちのアプローチの鍵は、前景ラスタライズをローカルプロパティの加重補間として、背景ラスタライズをグローバルジオメトリの距離ベースの集計として表示することです。このアプローチでは、さまざまな照明モデルを使用して、頂点の位置、色、法線、光の方向、テクスチャ座標を正確に最適化できます。 2つのMLアプリケーションでアプローチを紹介します:単一画像3Dオブジェクト予測と3Dテクスチャオブジェクト生成。どちらも2D監視のみを使用してトレーニングされます。プロジェクトのウェブサイト:
Many machine learning models operate on images, but ignore the fact that images are 2D projections formed by 3D geometry interacting with light, in a process called rendering. Enabling ML models to understand image formation might be key for generalization. However, due to an essential rasterization step involving discrete assignment operations, rendering pipelines are non-differentiable and thus largely inaccessible to gradient-based ML techniques. In this paper, we present DIB-R, a differentiable rendering framework which allows gradients to be analytically computed for all pixels in an image. Key to our approach is to view foreground rasterization as a weighted interpolation of local properties and background rasterization as a distance-based aggregation of global geometry. Our approach allows for accurate optimization over vertex positions, colors, normals, light directions and texture coordinates through a variety of lighting models. We showcase our approach in two ML applications: single-image 3D object prediction, and 3D textured object generation, both trained using exclusively using 2D supervision. Our project website is:
updated: Thu Nov 21 2019 17:54:30 GMT+0000 (UTC)
published: Sat Aug 03 2019 18:05:41 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト