arXiv reaDer
Face De-occlusion using 3D Morphable Model and Generative Adversarial Network
  近年、画像ベースのフォトリアリスティック3D顔再構成で3Dモーフィングモデル(3DMM)がよく使用されています。ただし、眼鏡、マスク、手などの顔以外のオブジェクトによる深刻なオクルージョンによって、顔画像が破損することがよくあります。このようなオブジェクトは、ランドマークとシェーディング情報の正しいキャプチャをブロックします。したがって、再構築された3D顔モデルはほとんど再利用できません。本論文では、3DMMの逆利用と生成的敵対的ネットワークに基づいて非閉塞顔画像を復元するための新しい方法を提案した。提案された敵対ネットワークの前に3DMMを利用し、グローバルとローカルの敵の畳み込みニューラルネットワークを組み合わせて、顔の非閉塞モデルを学習します。 3DMMは、幾何学的事前分布として機能するだけでなく、ローカル識別器の顔領域も提案します。実験結果は、さまざまな頭のポーズと照明による困難なタイプの閉塞の除去における提案アルゴリズムの有効性と堅牢性を確認します。さらに、提案された方法は、オクルージョン解除されたテクスチャで正しい3D顔モデルを再構築します。
In recent decades, 3D morphable model (3DMM) has been commonly used in image-based photorealistic 3D face reconstruction. However, face images are often corrupted by serious occlusion by non-face objects including eyeglasses, masks, and hands. Such objects block the correct capture of landmarks and shading information. Therefore, the reconstructed 3D face model is hardly reusable. In this paper, a novel method is proposed to restore de-occluded face images based on inverse use of 3DMM and generative adversarial network. We utilize the 3DMM prior to the proposed adversarial network and combine a global and local adversarial convolutional neural network to learn face de-occlusion model. The 3DMM serves not only as geometric prior but also proposes the face region for the local discriminator. Experiment results confirm the effectiveness and robustness of the proposed algorithm in removing challenging types of occlusions with various head poses and illumination. Furthermore, the proposed method reconstructs the correct 3D face model with de-occluded textures.
updated: Fri Sep 06 2019 14:29:45 GMT+0000 (UTC)
published: Fri Apr 12 2019 09:06:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト