arXiv reaDer
2Dオブジェクトと手のポーズを用いた自己中心的な視点による人間の行動認識
Human Action Recognition in Egocentric Perspective Using 2D Object and Hands Pose
自己中心的な行動認識は、ユーザーの意識的な努力を必要とせずに日常生活活動 (ADL) を自動的かつ継続的に監視できるため、自己中心的なカメラに依存するヘルスケアおよび支援技術には不可欠です。この研究では、自己中心的な行動認識に 2D の手と物体の姿勢情報を使用する実現可能性を調査します。現在の文献は 3D の手のポーズ情報に焦点を当てていますが、私たちの研究では、2D スケルトン データの使用が手ベースの動作分類の有望なアプローチであり、プライバシーを強化できる可能性があり、計算負荷が低い可能性があることを示しています。この研究では、最先端のトランスフォーマーベースの方法を使用してシーケンスを分類し、他の既存のソリューションを上回る 94% の検証結果を達成しました。テスト サブセットの精度は 76% に低下し、汎化をさらに改善する必要があることを示しています。この研究は、動作認識タスクにおける 2D の手と物体の姿勢情報の可能性を強調し、3D ベースの方法に代わる有望な代替手段を提供します。
Egocentric action recognition is essential for healthcare and assistive technology that relies on egocentric cameras because it allows for the automatic and continuous monitoring of activities of daily living (ADLs) without requiring any conscious effort from the user. This study explores the feasibility of using 2D hand and object pose information for egocentric action recognition. While current literature focuses on 3D hand pose information, our work shows that using 2D skeleton data is a promising approach for hand-based action classification, might offer privacy enhancement, and could be less computationally demanding. The study uses a state-of-the-art transformer-based method to classify sequences and achieves validation results of 94%, outperforming other existing solutions. The accuracy of the test subset drops to 76%, indicating the need for further generalization improvement. This research highlights the potential of 2D hand and object pose information for action recognition tasks and offers a promising alternative to 3D-based methods.
updated: Thu Jun 08 2023 12:15:16 GMT+0000 (UTC)
published: Thu Jun 08 2023 12:15:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト