arXiv reaDer
Posture and sequence recognition for Bharatanatyam dance performances using machine learning approach
  ダンスのような舞台芸術の基本的なセマンティクスを理解することは、難しい仕事です。ダンスは本質的にマルチメディアであり、時間と空間にまたがります。ダンスのマルチメディアコンテンツのキャプチャと分析は、文化遺産の保存、ビデオ推薦システムの構築、学習者が個別指導システムの使用を支援するのに役立ちます。ダンスのアプリケーションを開発するには、ダンス分析の3つの側面に対処する必要があります。1)代表的なアクション要素を見つけるためのダンスビデオのセグメンテーション、2)検出されたアクション要素の一致または認識、3)ダンスシーケンスの認識特定のルールの下でいくつかのアクション要素を組み合わせることによって形成されます。この論文は、ダンス形式の基本的なセマンティクスを理解するためのダンス分析の3つの基本的な問題を解決しようとします。私たちの焦点は、バラタナティヤムとして知られるインド古典舞踊(ICD)形式にあります。ダンスは音楽によって駆動されるため、重要な姿勢の抽出には音楽とモーション情報を使用します。次に、機械学習とディープラーニング技術を使用して、主要な姿勢を認識します。最後に、ダンスシーケンスは、隠れマルコフモデル(HMM)を使用して認識されます。 Kinectを使用してバラタナティヤムダンスのマルチモーダルデータをキャプチャし、ICDの研究用に注釈付きデータセットを構築します。
Understanding the underlying semantics of performing arts like dance is a challenging task. Dance is multimedia in nature and spans over time as well as space. Capturing and analyzing the multimedia content of the dance is useful for the preservation of cultural heritage, to build video recommendation systems, to assist learners to use tutoring systems. To develop an application for dance, three aspects of dance analysis need to be addressed: 1) Segmentation of the dance video to find the representative action elements, 2) Matching or recognition of the detected action elements, and 3) Recognition of the dance sequences formed by combining a number of action elements under certain rules. This paper attempts to solve three fundamental problems of dance analysis for understanding the underlying semantics of dance forms. Our focus is on an Indian Classical Dance (ICD) form known as Bharatanatyam. As dance is driven by music, we use the music as well as motion information for key posture extraction. Next, we recognize the key postures using machine learning as well as deep learning techniques. Finally, the dance sequence is recognized using the Hidden Markov Model (HMM). We capture the multi-modal data of Bharatanatyam dance using Kinect and build an annotated data set for research in ICD.
updated: Tue Sep 24 2019 16:18:01 GMT+0000 (UTC)
published: Tue Sep 24 2019 16:18:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト