arXiv reaDer
Deep Appearance Maps
 外観の詳細な表現を提案します。 e。、色、表面の向き、視聴者の位置、素材、照明の関係。これまでのアプローチでは、深層学習を使用して、反射モデルパラメーター(Phongなど)または照明(HDR環境マップなど)に関連する古典的な外観表現を抽出していました。外観そのものを、Deep Appearance Map(DAM)と呼ぶネットワークとして直接表現することをお勧めします。これは、2D反射率マップ上の4D汎化であり、ビューの方向を固定しました。まず、画像またはビデオフレームからDAMを学習し、後で新しい表面の向きと視聴者の位置を指定して、外観を合成する方法を示します。次に、別のネットワークを使用して画像またはビデオフレームからDAMネットワークにマッピングし、確率的勾配降下(学習から学習)などの長時間の最適化を使用せずにこの外観を再現する方法を示します。最後に、複数のマテリアルを示す画像から複数の深い外観マップにマッピングする、外観の推定およびセグメンテーションタスクの例を示します。
We propose a deep representation of appearance, i. e., the relation of color, surface orientation, viewer position, material and illumination. Previous approaches have useddeep learning to extract classic appearance representationsrelating to reflectance model parameters (e. g., Phong) orillumination (e. g., HDR environment maps). We suggest todirectly represent appearance itself as a network we call aDeep Appearance Map (DAM). This is a 4D generalizationover 2D reflectance maps, which held the view direction fixed. First, we show how a DAM can be learned from images or video frames and later be used to synthesize appearance, given new surface orientations and viewer positions. Second, we demonstrate how another network can be used to map from an image or video frames to a DAM network to reproduce this appearance, without using a lengthy optimization such as stochastic gradient descent (learning-to-learn). Finally, we show the example of an appearance estimation-and-segmentation task, mapping from an image showingmultiple materials to multiple deep appearance maps.
updated: Tue Oct 29 2019 06:31:33 GMT+0000 (UTC)
published: Tue Apr 03 2018 08:17:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト