arXiv reaDer
マーカーベースのモーションキャプチャと多段階時空間グラフ畳み込みニューラルネットワークによる歩行評価の自動凍結
Automated freezing of gait assessment with marker-based motion capture and multi-stage spatial-temporal graph convolutional neural networks
歩行の凍結(FOG)は、パーキンソン病の一般的で衰弱させる歩行障害です。この現象へのさらなる洞察は、FOGを客観的に評価することの難しさによって妨げられています。この臨床的ニーズを満たすために、この論文は、新しいディープニューラルネットワークによって駆動される自動化されたモーションキャプチャベースのFOG評価方法を提案します。自動FOG評価は、アクションセグメンテーション問題として定式化できます。この場合、時間モデルは、トリミングされていないモーションキャプチャ試行でFOGセグメントを認識し、時間的にローカライズするようにタスクが設定されます。このホワイトペーパーでは、FOGを自動的に評価するタスクを実行した場合の、最先端のアクションセグメンテーションモデルのパフォーマンスを詳しく見ていきます。さらに、最先端のベースラインよりも空間的および時間的依存関係をより適切にキャプチャすることを目的とした、新しいディープニューラルネットワークアーキテクチャが提案されています。多段時空間グラフ畳み込みネットワーク(MS-GCN)と呼ばれる提案されたネットワークは、時空間グラフ畳み込みネットワーク(ST-GCN)と多段時空間畳み込みネットワーク(MS-TCN)を組み合わせたものです。 ST-GCNは、モーションキャプチャに固有の関節間の階層的な時空間モーションをキャプチャします。一方、マルチステージコンポーネントは、複数のステージにわたる予測を調整することにより、オーバーセグメンテーションエラーを削減します。実験は、提案されたモデルが4つの最先端のベースラインを上回っていることを示しています。さらに、MS-GCN予測から得られたFOGの結果は、手動注釈から得られたFOGの結果と優れた(r = 0.93 [0.87、0.97])および適度に強い(r = 0.75 [0.55、0.87])線形関係を持っていました。提案されたMS-GCNは、労働集約的な臨床医ベースのFOG評価に代わる自動化された客観的な代替手段を提供する可能性があります。 MS-GCNのより大規模で多様な検証コホートへの一般化を評価することを目的とした将来の作業が可能になりました。
Freezing of gait (FOG) is a common and debilitating gait impairment in Parkinson's disease. Further insight into this phenomenon is hampered by the difficulty to objectively assess FOG. To meet this clinical need, this paper proposes an automated motion-capture-based FOG assessment method driven by a novel deep neural network. Automated FOG assessment can be formulated as an action segmentation problem, where temporal models are tasked to recognize and temporally localize the FOG segments in untrimmed motion capture trials. This paper takes a closer look at the performance of state-of-the-art action segmentation models when tasked to automatically assess FOG. Furthermore, a novel deep neural network architecture is proposed that aims to better capture the spatial and temporal dependencies than the state-of-the-art baselines. The proposed network, termed multi-stage spatial-temporal graph convolutional network (MS-GCN), combines the spatial-temporal graph convolutional network (ST-GCN) and the multi-stage temporal convolutional network (MS-TCN). The ST-GCN captures the hierarchical spatial-temporal motion among the joints inherent to motion capture, while the multi-stage component reduces over-segmentation errors by refining the predictions over multiple stages. The experiments indicate that the proposed model outperforms four state-of-the-art baselines. Moreover, FOG outcomes derived from MS-GCN predictions had an excellent (r=0.93 [0.87, 0.97]) and moderately strong (r=0.75 [0.55, 0.87]) linear relationship with FOG outcomes derived from manual annotations. The proposed MS-GCN may provide an automated and objective alternative to labor-intensive clinician-based FOG assessment. Future work is now possible that aims to assess the generalization of MS-GCN to a larger and more varied verification cohort.
updated: Thu Feb 03 2022 16:40:53 GMT+0000 (UTC)
published: Mon Mar 29 2021 09:32:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト