幼児の神経学的発達は、運動能力に大きく影響されます。赤ちゃんの動きを評価することは、赤ちゃんの成長における発達障害の可能性のあるリスクを理解するための鍵です。心理学の以前の研究では、赤ちゃんの特定の動きや顔のタッチなどのジェスチャーを測定することが、赤ちゃんが自分自身とそのコンテキストをどのように理解しているかを分析するために不可欠であることが示されています。この研究は、乳児の動きとジェスチャーを追跡することにより、ビデオ録画から顔のタッチを検出する最初の自動アプローチを提案します。この研究では、空間的特徴と時間的特徴を組み合わせたマルチモーダル特徴融合アプローチを使用し、骨格追跡情報を活用して、手、顔、体の 170 を超える集約された特徴を生成します。この研究では、幼児の顔の接触を検出および分類するためのデータ駆動型機械学習モデルを提案しています。クロス データセット テストを使用して、提案したモデルを評価しました。モデルは、顔のタッチの検出で 87.0% の精度を達成し、特定の顔のタッチ位置の検出で 71.4% のマクロ平均精度を達成し、Zero Rule と一様なランダム チャンスのベースラインを大幅に改善しました。さらに、モデルを実行してより大きなデータセットの顔のタッチ頻度を抽出すると、生後最初の 5 か月間の細かい運動能力の発達を予測できることを示しています。
Infants' neurological development is heavily influenced by their motor skills. Evaluating a baby's movements is key to understanding possible risks of developmental disorders in their growth. Previous research in psychology has shown that measuring specific movements or gestures such as face touches in babies is essential to analyse how babies understand themselves and their context. This research proposes the first automatic approach that detects face touches from video recordings by tracking infants' movements and gestures. The study uses a multimodal feature fusion approach mixing spatial and temporal features and exploits skeleton tracking information to generate more than 170 aggregated features of hand, face and body. This research proposes data-driven machine learning models for the detection and classification of face touch in infants. We used cross dataset testing to evaluate our proposed models. The models achieved 87.0% accuracy in detecting face touches and 71.4% macro-average accuracy in detecting specific face touch locations with significant improvements over Zero Rule and uniform random chance baselines. Moreover, we show that when we run our model to extract face touch frequencies of a larger dataset, we can predict the development of fine motor skills during the first 5 months after birth.