arXiv reaDer
アーティキュレートされた SE(3) 等価分散を使用した目に見えないポーズへのニューラル ヒューマン フィッティングの一般化
Generalizing Neural Human Fitting to Unseen Poses With Articulated SE(3) Equivariance
パラメトリック人体モデル (SMPL) を点群データに適合させる問題に対処します。最適化ベースのメソッドは、慎重な初期化が必要であり、局所的な最適化に陥りやすい傾向があります。学習ベースの方法はこれに対処しますが、入力ポーズがトレーニング中に見られるものとはかけ離れている場合、うまく一般化できません。剛体点群の場合、SE(3) 等変ネットワークを活用することで顕著な一般化が達成されていますが、これらの方法は多関節オブジェクトでは機能しません。この作業では、このアイデアを人体に拡張し、点群から SMPL モデルを推定するための新しい部分ベースの SE(3) 等価ニューラル アーキテクチャである ArtEq を提案します。具体的には、ローカル SO(3) 不変性を活用してパーツ検出ネットワークを学習し、連結された SE(3) 形状不変ネットワークと姿勢等価ネットワークを使用して形状と姿勢を回帰させ、すべてエンドツーエンドでトレーニングします。私たちの新しい等変ポーズ回帰モジュールは、自己注意レイヤーの順列同変プロパティを利用して、回転の等分散を維持します。実験結果は、ArtEq がトレーニング中に見られなかったポーズに一般化できることを示しており、最適化の改良ステップを必要とせずに、最先端の方法を 74.5% 上回っています。さらに、競合する研究と比較して、私たちの方法は推論中に 3 桁以上高速であり、パラメーターが 97.3% 少なくなっています。コードとモデルは、研究目的で https://arteq.is.tue.mpg.de で入手できます。
We address the problem of fitting a parametric human body model (SMPL) to point cloud data. Optimization-based methods require careful initialization and are prone to becoming trapped in local optima. Learning-based methods address this but do not generalize well when the input pose is far from those seen during training. For rigid point clouds, remarkable generalization has been achieved by leveraging SE(3)-equivariant networks, but these methods do not work on articulated objects. In this work we extend this idea to human bodies and propose ArtEq, a novel part-based SE(3)-equivariant neural architecture for SMPL model estimation from point clouds. Specifically, we learn a part detection network by leveraging local SO(3) invariance, and regress shape and pose using articulated SE(3) shape-invariant and pose-equivariant networks, all trained end-to-end. Our novel equivariant pose regression module leverages the permutation-equivariant property of self-attention layers to preserve rotational equivariance. Experimental results show that ArtEq can generalize to poses not seen during training, outperforming state-of-the-art methods by 74.5%, without requiring an optimization refinement step. Further, compared with competing works, our method is more than three orders of magnitude faster during inference and has 97.3% fewer parameters. The code and model will be available for research purposes at https://arteq.is.tue.mpg.de.
updated: Thu Apr 20 2023 17:58:26 GMT+0000 (UTC)
published: Thu Apr 20 2023 17:58:26 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト