パラメトリック顔モデルと 3D 顔再構成の研究分野は、広く研究されています。ただし、特定の再構成設定に合わせて顔モデルを調整する方法という重大な問題は未解決のままです。マルチビューのキャリブレーションされていない画像を使用した再構成には、より強力な容量を備えた新しいモデルが必要であると主張します。私たちの研究は、データ依存の 3D Morphable Models (3DMM) から、十分に研究されていない人間が設計したスキニング モデルに注意を向けています。アダプティブ スキニング モデル (ASM) を提案します。これは、スキニング モデルをよりコンパクトで完全に調整可能なパラメーターで再定義します。大規模な実験により、ASM が 3DMM よりも大幅に容量を改善し、モデル サイズと新しいトポロジの実装が容易になるという追加の利点があることを示しています。フローレンス MICC Coop ベンチマークでマルチビュー再構成用の ASM を使用して、最先端のパフォーマンスを実現します。私たちの定量分析は、再構成におけるマルチビュー入力からの豊富な情報を十分に活用するための大容量モデルの重要性を示しています。さらに、物理的セマンティック パラメーターを使用したモデルは、ゲーム内のアバター作成など、現実世界のアプリケーションに直接利用できます。その結果、私たちの仕事は、パラメトリック顔モデルの新しい研究の方向性を切り開き、マルチビュー再構成に関する将来の研究を促進します。
The research fields of parametric face models and 3D face reconstruction have been extensively studied. However, a critical question remains unanswered: how to tailor the face model for specific reconstruction settings. We argue that reconstruction with multi-view uncalibrated images demands a new model with stronger capacity. Our study shifts attention from data-dependent 3D Morphable Models (3DMM) to an understudied human-designed skinning model. We propose Adaptive Skinning Model (ASM), which redefines the skinning model with more compact and fully tunable parameters. With extensive experiments, we demonstrate that ASM achieves significantly improved capacity than 3DMM, with the additional advantage of model size and easy implementation for new topology. We achieve state-of-the-art performance with ASM for multi-view reconstruction on the Florence MICC Coop benchmark. Our quantitative analysis demonstrates the importance of a high-capacity model for fully exploiting abundant information from multi-view input in reconstruction. Furthermore, our model with physical-semantic parameters can be directly utilized for real-world applications, such as in-game avatar creation. As a result, our work opens up new research directions for the parametric face models and facilitates future research on multi-view reconstruction.