単一の単眼画像から空間的に変化する顔の反射率、詳細な顔のジオメトリを再構成できる新しい顔の再構成方法を提示します。私たちは、自己監視方式でトレーニングされた、微分可能なレイトレーシング画像形成を備えたDNNベースのオートエンコーダの最近の進歩に基づいて作業を構築しています。学習ベースのアプローチとリアルタイムの再構築の利点を提供する一方で、後者の方法は忠実度に欠けていました。この作品では、初めて、自己管理学習のみを使用して忠実度の高い顔の再構築を実現します。私たちの新しい粗いものから細かいものへの深いアーキテクチャにより、単一の画像を使用して、顔の反射率をジオメトリから切り離すという難しい問題を高い計算速度で解決できます。最先端の方法と比較して、私たちの方法は、より視覚的に魅力的な再構成を実現します。
We present a novel face reconstruction method capable of reconstructing detailed face geometry, spatially varying face reflectance from a single monocular image. We build our work upon the recent advances of DNN-based auto-encoders with differentiable ray tracing image formation, trained in self-supervised manner. While providing the advantage of learning-based approaches and real-time reconstruction, the latter methods lacked fidelity. In this work, we achieve, for the first time, high fidelity face reconstruction using self-supervised learning only. Our novel coarse-to-fine deep architecture allows us to solve the challenging problem of decoupling face reflectance from geometry using a single image, at high computational speed. Compared to state-of-the-art methods, our method achieves more visually appealing reconstruction.