arXiv reaDer
Multi-NeuS: ニューラル インプリシット関数を使用した単一画像からの 3D ヘッド ポートレート
Multi-NeuS: 3D Head Portraits from Single Image with Neural Implicit Functions
1 つまたはいくつかのビューから人間の頭のテクスチャ 3 D メッシュを再構築するためのアプローチを提示します。このような少数ショット再構成は制約が少ないため、従来の 3D 再構成アルゴリズムに課すのが難しい事前知識が必要です。この作業では、最近導入された 3D 表現 x2013 ニューラル陰関数 x2013 に依存しています。これは、ニューラル ネットワークに基づいており、データから人間の頭に関する事前確率を自然に学習でき、テクスチャ メッシュに直接変換できます。つまり、最先端のニューラル陰関数定式化である NeuS を拡張して、クラスの複数のオブジェクト (この場合は人間の頭) を同時に表現します。基礎となるニューラル ネット アーキテクチャは、これらのオブジェクト間の共通点を学習し、目に見えないものに一般化するように設計されています。私たちのモデルは、わずか 100 のスマートフォン ビデオでトレーニングされており、スキャンされた 3D データは必要ありません。その後、モデルは、少数ショットまたは 1 ショット モードで新しいヘッドに適合し、良好な結果が得られます。
We present an approach for the reconstruction of textured 3D meshes of human heads from one or few views. Since such few-shot reconstruction is underconstrained, it requires prior knowledge which is hard to impose on traditional 3D reconstruction algorithms. In this work, we rely on the recently introduced 3D representation x2013 neural implicit functions x2013 which, being based on neural networks, allows to naturally learn priors about human heads from data, and is directly convertible to textured mesh. Namely, we extend NeuS, a state-of-the-art neural implicit function formulation, to represent multiple objects of a class (human heads in our case) simultaneously. The underlying neural net architecture is designed to learn the commonalities among these objects and to generalize to unseen ones. Our model is trained on just a hundred smartphone videos and does not require any scanned 3D data. Afterwards, the model can fit novel heads in the few-shot or one-shot modes with good results.
updated: Wed Sep 07 2022 21:09:24 GMT+0000 (UTC)
published: Wed Sep 07 2022 21:09:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト