arXiv reaDer
DANBO:グラフニューラルネットワークを介した解きほぐされた関節のあるニューラルボディ表現
DANBO: Disentangled Articulated Neural Body Representations via Graph Neural Networks
ディープラーニングは、3Dスキャン、テンプレートメッシュ、およびマルチビュー画像のコレクションからジオメトリと外観を学習することにより、アニメート可能な人間モデルのリアリズムを大幅に改善しました。高解像度モデルは、写真のようにリアルなアバターを可能にしますが、エンドユーザーが利用できないスタジオ設定を必要とするという犠牲を払っています。私たちの目標は、高価なスタジオのセットアップや表面追跡に依存することなく、生の画像から直接アバターを作成することです。そのようなアプローチはいくつか存在しますが、それらは一般化機能が制限されており、無関係な体の部分の間の偽の(チャンス)相関関係を学習する傾向があり、目に見えないポーズで信じられないほどの変形や体の部分の欠落をもたらします。ポーズに依存する変形をより良く解きほぐすために2つの誘導バイアスを誘発する3段階の方法を紹介します。まず、グラフニューラルネットワークを使用して、身体部分の相関を明示的にモデル化します。次に、偶然の相関の影響をさらに減らすために、因数分解されたボリューム表現と新しい集計関数を使用するローカライズされた骨ごとの機能を導入します。私たちのモデルが、挑戦的な目に見えないポーズの下でリアルな体型を生成し、高品質の画像合成を示すことを示します。私たちが提案する表現は、競合する方法よりも、モデルの容量、表現力、および堅牢性の間でより良いトレードオフを打ちます。プロジェクトのウェブサイト:https://lemonatsu.github.io/danbo。
Deep learning greatly improved the realism of animatable human models by learning geometry and appearance from collections of 3D scans, template meshes, and multi-view imagery. High-resolution models enable photo-realistic avatars but at the cost of requiring studio settings not available to end users. Our goal is to create avatars directly from raw images without relying on expensive studio setups and surface tracking. While a few such approaches exist, those have limited generalization capabilities and are prone to learning spurious (chance) correlations between irrelevant body parts, resulting in implausible deformations and missing body parts on unseen poses. We introduce a three-stage method that induces two inductive biases to better disentangled pose-dependent deformation. First, we model correlations of body parts explicitly with a graph neural network. Second, to further reduce the effect of chance correlations, we introduce localized per-bone features that use a factorized volumetric representation and a new aggregation function. We demonstrate that our model produces realistic body shapes under challenging unseen poses and shows high-quality image synthesis. Our proposed representation strikes a better trade-off between model capacity, expressiveness, and robustness than competing methods. Project website: https://lemonatsu.github.io/danbo.
updated: Tue Oct 11 2022 22:40:22 GMT+0000 (UTC)
published: Tue May 03 2022 17:56:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト