関節や手足のそわそわする動きの欠如または異常は、乳児の脳性麻痺を強く示しています。ビデオで乳児の動きを評価するためのコンピュータベースの方法を開発することは、脳性麻痺のスクリーニングを改善するために極めて重要です。ほとんどの既存の方法は外観ベースの機能を使用するため、背景の乱雑さやカメラの移動によって引き起こされる強力ではあるが無関係な信号に敏感です。さらに、これらの特徴はフレーム全体にわたって計算されるため、特定の関節/手足の動きではなく、全身の全体的な動きを測定します。これらの課題に対処するために、短いクリップから抽出された人間のポーズを使用して、消費者向けのビデオからそわそわする動きを評価するための新しい方法を開発および検証します。人間のポーズは、関節と手足の関連するモーションプロファイルのみをキャプチャするため、関連性のない外観のアーティファクトはありません。関節間のダイナミクスと調整は、時空間グラフ畳み込みネットワークを使用してモデル化されます。そわそわする動きに関する識別情報を含むフレームと体の部分は、時空間的注意メカニズムによって選択されます。オーストラリアの脳性麻痺同盟を通じてオーストラリアの病院で収集された実際の消費者グレードのビデオデータセットを使用して、脳性麻痺のスクリーニングタスクで提案されたモデルを検証します。私たちの実験は、提案された方法が81.87%のROC-AUCスコアを達成し、より良い解釈可能性で既存の競合する方法を大幅に上回っていることを示しています。
The absence or abnormality of fidgety movements of joints or limbs is strongly indicative of cerebral palsy in infants. Developing computer-based methods for assessing infant movements in videos is pivotal for improved cerebral palsy screening. Most existing methods use appearance-based features and are thus sensitive to strong but irrelevant signals caused by background clutter or a moving camera. Moreover, these features are computed over the whole frame, thus they measure gross whole body movements rather than specific joint/limb motion. Addressing these challenges, we develop and validate a new method for fidgety movement assessment from consumer-grade videos using human poses extracted from short clips. Human poses capture only relevant motion profiles of joints and limbs and are thus free from irrelevant appearance artifacts. The dynamics and coordination between joints are modeled using spatio-temporal graph convolutional networks. Frames and body parts that contain discriminative information about fidgety movements are selected through a spatio-temporal attention mechanism. We validate the proposed model on the cerebral palsy screening task using a real-life consumer-grade video dataset collected at an Australian hospital through the Cerebral Palsy Alliance, Australia. Our experiments show that the proposed method achieves the ROC-AUC score of 81.87%, significantly outperforming existing competing methods with better interpretability.