ピクセル整列機能を使用した画像ベースのボリュームアバターは、目に見えないポーズやアイデンティティへの一般化を約束します。以前の作業では、グローバルな空間エンコーディングとマルチビューの幾何学的一貫性を活用して、空間のあいまいさを軽減しています。ただし、グローバルエンコーディングは、トレーニングデータの分散に過剰適合することが多く、スパースビューからマルチビューの一貫性のある再構成を学習することは困難です。この作業では、既存の空間エンコーディングに共通する問題を調査し、まばらなビューから忠実度の高いボリュームアバターをモデル化するためのシンプルでありながら非常に効果的なアプローチを提案します。重要なアイデアの1つは、スパース3Dキーポイントを介して相対的な空間3D情報をエンコードすることです。このアプローチは、視点の希薄性とデータセット間のドメインギャップに対して堅牢です。私たちのアプローチは、頭部再建のための最先端の方法よりも優れています。見えない被験者の人体再構成についても、パラメトリック人体モデルと時間的特徴の集約を使用した以前の作業に匹敵するパフォーマンスを実現します。私たちの実験は、以前の作業でのエラーの大部分が空間エンコーディングの不適切な選択に起因することを示しており、したがって、忠実度の高い画像ベースのアバターモデリングの新しい方向性を提案します。 https://markomih.github.io/KeypointNeRF
Image-based volumetric avatars using pixel-aligned features promise generalization to unseen poses and identities. Prior work leverages global spatial encodings and multi-view geometric consistency to reduce spatial ambiguity. However, global encodings often suffer from overfitting to the distribution of the training data, and it is difficult to learn multi-view consistent reconstruction from sparse views. In this work, we investigate common issues with existing spatial encodings and propose a simple yet highly effective approach to modeling high-fidelity volumetric avatars from sparse views. One of the key ideas is to encode relative spatial 3D information via sparse 3D keypoints. This approach is robust to the sparsity of viewpoints and cross-dataset domain gap. Our approach outperforms state-of-the-art methods for head reconstruction. On human body reconstruction for unseen subjects, we also achieve performance comparable to prior work that uses a parametric human body model and temporal feature aggregation. Our experiments show that a majority of errors in prior work stem from an inappropriate choice of spatial encoding and thus we suggest a new direction for high-fidelity image-based avatar modeling. https://markomih.github.io/KeypointNeRF