arXiv reaDer
3Dアクション認識のためのスケルトンガイダンスによる学習シーンの流れ
Learning Scene Flow With Skeleton Guidance For 3D Action Recognition
3D 動作認識の既存のモダリティの中で、3D フローは人間の動作に対する豊富な動作情報の手がかりを伝達するにもかかわらず、十分に検討されていません。おそらく、ノイズの影響を受けやすいため扱いにくくなり、ディープモデル内の学習プロセスが困難になると考えられます。この研究は、深い時空間モデルによる 3D フロー シーケンスの使用を実証し、さらに、体の関節領域に近い動きの特徴をその情報性に応じて強調するために、骨格ドメインから導かれる増分 2 レベルの空間注意メカニズムを提案します。この目的に向けて、各関節の情報スコアを推定するために、最も識別可能な動作運動ダイナミクスを学習するための拡張ディープ スケルトン モデルも導入されています。続いて、高レベルのクロスモーダル相関を学習するために、2 つのモデル間で遅延融合スキームが採用されます。現在最大かつ最も困難なデータセットである NTU RGB+D に関する実験結果は、提案されたアプローチの有効性を実証し、最先端の結果を達成しました。
Among the existing modalities for 3D action recognition, 3D flow has been poorly examined, although conveying rich motion information cues for human actions. Presumably, its susceptibility to noise renders it intractable, thus challenging the learning process within deep models. This work demonstrates the use of 3D flow sequence by a deep spatiotemporal model and further proposes an incremental two-level spatial attention mechanism, guided from skeleton domain, for emphasizing motion features close to the body joint areas and according to their informativeness. Towards this end, an extended deep skeleton model is also introduced to learn the most discriminant action motion dynamics, so as to estimate an informativeness score for each joint. Subsequently, a late fusion scheme is adopted between the two models for learning the high level cross-modal correlations. Experimental results on the currently largest and most challenging dataset NTU RGB+D, demonstrate the effectiveness of the proposed approach, achieving state-of-the-art results.
updated: Fri Jun 23 2023 04:14:25 GMT+0000 (UTC)
published: Fri Jun 23 2023 04:14:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト