arXiv reaDer
ProtoRes: 人間のポーズのディープ モデリングのための Proto-Residual Architecture
ProtoRes: Proto-Residual Architecture for Deep Modeling of Human Pose
私たちの仕事は、高度な AI 支援アニメーション ツールのための人間のポーズの学習可能な神経表現の開発に焦点を当てています。具体的には、まばらで可変的なユーザー入力 (たとえば、体の関節のサブセットの位置および/または方向) に基づいて、完全な静的な人間のポーズを構築する問題に取り組みます。この問題を解決するために、残差接続と部分的に指定されたポーズのプロトタイプ エンコーディングを組み合わせて、学習した潜在空間から新しい完全なポーズを作成する新しいニューラル アーキテクチャを提案します。私たちのアーキテクチャは、精度と計算効率の両方の点で、Transformer に基づくベースラインよりも優れていることを示しています。さらに、リアルタイム 3D 開発プラットフォームである Unity にニューラル モデルを統合するためのユーザー インターフェイスを開発します。さらに、高品質の人間のモーション キャプチャ データに基づいた、静的な人間のポーズ モデリングの問題を表す 2 つの新しいデータセットを紹介します。これは、モデル コードと共に一般にリリースされます。
Our work focuses on the development of a learnable neural representation of human pose for advanced AI assisted animation tooling. Specifically, we tackle the problem of constructing a full static human pose based on sparse and variable user inputs (e.g. locations and/or orientations of a subset of body joints). To solve this problem, we propose a novel neural architecture that combines residual connections with prototype encoding of a partially specified pose to create a new complete pose from the learned latent space. We show that our architecture outperforms a baseline based on Transformer, both in terms of accuracy and computational efficiency. Additionally, we develop a user interface to integrate our neural model in Unity, a real-time 3D development platform. Furthermore, we introduce two new datasets representing the static human pose modeling problem, based on high-quality human motion capture data, which will be released publicly along with model code.
updated: Thu Jun 03 2021 16:56:58 GMT+0000 (UTC)
published: Thu Jun 03 2021 16:56:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト