arXiv reaDer
適応された人間のポーズ:ゼロの実際の3Dポーズデータを使用した単眼3D人間のポーズ推定
Adapted Human Pose: Monocular 3D Human Pose Estimation with Zero Real 3D Pose Data
推論モデルの最終的な目標は、実際のアプリケーションで堅牢で機能することです。ただし、トレーニングとテストデータドメインのギャップは、モデルのパフォーマンスに悪影響を与えることがよくあります。この問題は、単眼の3D人間の姿勢推定の問題にとって特に重要です。この問題では、3D人間のデータが制御されたラボ環境で収集されることがよくあります。この論文では、適応人間ポーズ(AHuP)アプローチを提示することにより、3D人間ポーズ推定の外観とポーズ空間の両方におけるドメインシフトの悪影響を軽減することに焦点を当てます。 AHuPは、2つの主要なコンポーネントに基づいて構築されています。(1)クロスドメイン機能空間適応のための意味認識適応(SAA)、および(2)ターゲットドメインから限られた情報のみを取得するポーズ空間適応のための骨格ポーズ適応(SPA) 。ゼロの実際の3D人間のポーズデータを使用することにより、適応された合成モデルの1つは、大規模な実際の3D人間のデータセットでトレーニングされたSOTAポーズ推定モデルと同等のパフォーマンスを示します。提案されたSPAは、新しいコンテキストで既存のSOTAモデルを改善するために、軽量ヘッドとして独立して使用することもできます。 ScanAva +と呼ばれる新しい3Dスキャンベースの合成人間データセットも、この作業で公開される予定です。
The ultimate goal for an inference model is to be robust and functional in real life applications. However, training vs. test data domain gaps often negatively affect model performance. This issue is especially critical for the monocular 3D human pose estimation problem, in which 3D human data is often collected in a controlled lab setting. In this paper, we focus on alleviating the negative effect of domain shift in both appearance and pose space for 3D human pose estimation by presenting our adapted human pose (AHuP) approach. AHuP is built upon two key components: (1) semantically aware adaptation (SAA) for the cross-domain feature space adaptation, and (2) skeletal pose adaptation (SPA) for the pose space adaptation which takes only limited information from the target domain. By using zero real 3D human pose data, one of our adapted synthetic models shows comparable performance with the SOTA pose estimation models trained with large scale real 3D human datasets. The proposed SPA can be also employed independently as a light-weighted head to improve existing SOTA models in a novel context. A new 3D scan-based synthetic human dataset called ScanAva+ is also going to be publicly released with this work.
updated: Sat Jan 22 2022 21:14:20 GMT+0000 (UTC)
published: Sun May 23 2021 01:20:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト