arXiv reaDer
DiffuPose: ノイズ除去拡散確率モデルによる単眼 3D 人間の姿勢推定
DiffuPose: Monocular 3D Human Pose Estimation via Denoising Diffusion Probabilistic Model
2D キーポイント検出器の開発のおかげで、2D から 3D への高揚アプローチによる単眼 3D 人間姿勢推定 (HPE) は、顕著な改善を達成しました。それでも、単眼 3D HPE は、固有の深度のあいまいさとオクルージョンにより、困難な問題です。この問題を処理するために、以前の多くの研究では、一時的な情報を利用してこのような問題を軽減していました。ただし、実際にはフレーム シーケンスにアクセスできないアプリケーションが多数あります。このペーパーでは、単一の 2D キーポイント検出から 3D ポーズを再構築することに焦点を当てています。時間情報を利用するのではなく、同一の 2D キーポイントにマッピングできる複数の 3D ポーズ候補を生成することで、深度のあいまいさを軽減します。既製の 2D 検出器から多様な 3D ポーズを効果的にサンプリングするための新しい拡散ベースのフレームワークを構築します。従来のノイズ除去 U-Net をグラフ畳み込みネットワークに置き換えることで人間の関節間の相関を考慮することで、私たちのアプローチはさらなるパフォーマンスの向上を実現します。広く採用されている Human3.6M および HumanEva-I データセットでメソッドを評価します。提案された方法の有効性を証明するために包括的な実験が行われ、モデルが最先端の多仮説 3D HPE メソッドよりも優れていることが確認されました。
Thanks to the development of 2D keypoint detectors, monocular 3D human pose estimation (HPE) via 2D-to-3D uplifting approaches have achieved remarkable improvements. Still, monocular 3D HPE is a challenging problem due to the inherent depth ambiguities and occlusions. To handle this problem, many previous works exploit temporal information to mitigate such difficulties. However, there are many real-world applications where frame sequences are not accessible. This paper focuses on reconstructing a 3D pose from a single 2D keypoint detection. Rather than exploiting temporal information, we alleviate the depth ambiguity by generating multiple 3D pose candidates which can be mapped to an identical 2D keypoint. We build a novel diffusion-based framework to effectively sample diverse 3D poses from an off-the-shelf 2D detector. By considering the correlation between human joints by replacing the conventional denoising U-Net with graph convolutional network, our approach accomplishes further performance improvements. We evaluate our method on the widely adopted Human3.6M and HumanEva-I datasets. Comprehensive experiments are conducted to prove the efficacy of the proposed method, and they confirm that our model outperforms state-of-the-art multi-hypothesis 3D HPE methods.
updated: Thu Aug 03 2023 09:03:30 GMT+0000 (UTC)
published: Tue Dec 06 2022 07:22:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト