arXiv reaDer
HybrIK-Transformer による 3D 人間の姿勢と形状の推定
3D Human Pose and Shape Estimation via HybrIK-Transformer
HybrIK は、解析的な逆運動学とディープ ラーニングの組み合わせに依存して、2D 単眼画像からより正確な 3D ポーズ推定を生成します。 HybrIK には、(1) 事前トレーニング済みの畳み込みバックボーン、(2) 2D 畳み込み機能から 3D ポーズをリフトするためのデコンボリューション、(3) もっともらしいツイスト角度とスイング角度の学習済み分布を使用して深層学習予測を修正する解析的逆運動学パスの 3 つの主要コンポーネントがあります。このホワイト ペーパーでは、2D から 3D へのリフティング モジュールの強化を提案し、デコンボリューションを Transformer に置き換えて、元の HybrIK メソッドと比較して精度と計算効率を向上させます。一般的に使用される H36M、PW3D、COCO、および HP3D データセットで結果を示します。私たちのコードは、https://github.com/boreshkinai/hybrik-transformer で公開されています。
HybrIK relies on a combination of analytical inverse kinematics and deep learning to produce more accurate 3D pose estimation from 2D monocular images. HybrIK has three major components: (1) pretrained convolution backbone, (2) deconvolution to lift 3D pose from 2D convolution features, (3) analytical inverse kinematics pass correcting deep learning prediction using learned distribution of plausible twist and swing angles. In this paper we propose an enhancement of the 2D to 3D lifting module, replacing deconvolution with Transformer, resulting in accuracy and computational efficiency improvement relative to the original HybrIK method. We demonstrate our results on commonly used H36M, PW3D, COCO and HP3D datasets. Our code is publicly available https://github.com/boreshkinai/hybrik-transformer.
updated: Mon Mar 27 2023 15:33:35 GMT+0000 (UTC)
published: Thu Feb 09 2023 17:08:43 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト