深い陰的表現を使用した剛体3Dオブジェクトのモデリングで大幅な進歩が見られました。しかし、これらの方法を拡張して人間の形の神経モデルを学習することは、まだ始まったばかりです。人体は複雑であり、重要な課題は、目に見えない、高度に明瞭なポーズで、目に見えない被験者の体型の変形を表現できるように一般化する表現を学習することです。この課題に対処するために、人体の新しい神経占有表現であるLEAP(LEarning Articulated occupancy of People)を紹介します。一連のボーン変換(つまり、ジョイントの位置と回転)と空間内のクエリポイントが与えられると、LEAPは最初に学習した線形ブレンドスキニング(LBS)関数を介してクエリポイントを正規空間にマッピングし、次に占有ネットワークを介して占有値を効率的にクエリします。これは、正準空間における正確なアイデンティティおよびポーズに依存する変形をモデル化します。実験によると、学習したLBS関数を使用した正規化された占有率の推定により、さまざまな人間の形やポーズにわたる学習した占有率表現の一般化機能が大幅に向上し、すべての設定で既存のソリューションを上回ります。
Substantial progress has been made on modeling rigid 3D objects using deep implicit representations. Yet, extending these methods to learn neural models of human shape is still in its infancy. Human bodies are complex and the key challenge is to learn a representation that generalizes such that it can express body shape deformations for unseen subjects in unseen, highly-articulated, poses. To address this challenge, we introduce LEAP (LEarning Articulated occupancy of People), a novel neural occupancy representation of the human body. Given a set of bone transformations (i.e. joint locations and rotations) and a query point in space, LEAP first maps the query point to a canonical space via learned linear blend skinning (LBS) functions and then efficiently queries the occupancy value via an occupancy network that models accurate identity- and pose-dependent deformations in the canonical space. Experiments show that our canonicalized occupancy estimation with the learned LBS functions greatly improves the generalization capability of the learned occupancy representation across various human shapes and poses, outperforming existing solutions in all settings.