arXiv reaDer
世界の革命的なアーティファクトのレンダリング解除
De-rendering the World's Revolutionary Artefacts
最近の作品は、教師なし画像のレンダリング解除でエキサイティングな結果を示しています-明示的な監督なしで単一画像コレクションから3D形状、外観、および照明を分解することを学びます。ただし、これらの多くは、単純なマテリアルおよび照明モデルを想定しています。明示的な3D監視にも、マルチビューまたはマルチライト画像にも依存せずに、実際の単一画像コレクションから環境照明と表面材料を復元できるRADARと呼ばれる方法を提案します。具体的には、花瓶などの鏡面反射を含む、困難な表面特性を示す回転対称の遺物に焦点を当てます。モデルがトレーニング中にグラウンドトゥルースを必要とせずにもっともらしいアルベドを回復できるようにする、新しい自己教師ありアルベド弁別器を紹介します。回転対称性を利用した形状再構築モジュールと組み合わせて、世界の革新的なアーティファクトをレンダリング解除できるエンドツーエンドの学習フレームワークを提示します。実際の花瓶のデータセットで実験を行い、説得力のある分解結果を示し、自由な視点でのレンダリングや再照明などのアプリケーションを可能にします。
Recent works have shown exciting results in unsupervised image de-rendering -- learning to decompose 3D shape, appearance, and lighting from single-image collections without explicit supervision. However, many of these assume simplistic material and lighting models. We propose a method, termed RADAR, that can recover environment illumination and surface materials from real single-image collections, relying neither on explicit 3D supervision, nor on multi-view or multi-light images. Specifically, we focus on rotationally symmetric artefacts that exhibit challenging surface properties including specular reflections, such as vases. We introduce a novel self-supervised albedo discriminator, which allows the model to recover plausible albedo without requiring any ground-truth during training. In conjunction with a shape reconstruction module exploiting rotational symmetry, we present an end-to-end learning framework that is able to de-render the world's revolutionary artefacts. We conduct experiments on a real vase dataset and demonstrate compelling decomposition results, allowing for applications including free-viewpoint rendering and relighting.
updated: Tue Aug 31 2021 14:15:58 GMT+0000 (UTC)
published: Thu Apr 08 2021 17:56:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト