目的:脊髄損傷(SCI)のある人は、回復の最優先事項として上肢機能を報告します。患者の機能と自立に対する新しい介入の真の影響を正確に表すには、自然な環境で評価を行う必要があります。ウェアラブルカメラを使用して、自宅で手の機能を監視し、コンピュータービジョンを使用して、結果のビデオ(エゴセントリックビデオ)を自動的に分析できます。このプロセスの重要なステップである手検出は、堅牢かつ確実に行うことが難しく、家庭やコミュニティでの完全な監視システムの展開を妨げます。既存の検出アルゴリズムと追跡アルゴリズムの単純な組み合わせを使用した、正確で効率的な手の検出方法を提案します。方法:検出、追跡、および組み合わせ方法は、SCIが自宅のシミュレーション研究室で日常生活を営む17人の個人から収集したエゴセントリックビデオの167,622フレームで構成される新しい手の検出データセットで評価されました。結果:最適な検出器とトラッカーのみ(SSDと中央値フロー)のF1スコアは、それぞれ0.90 $ \ pm $ 0.07と0.42 $ \ pm $ 0.18でした。検出器を使用してトラッカーを初期化およびリセットする最良の組み合わせ方法では、F1スコアは0.87 $ \ pm $ 0.07であり、最速の検出器のみの2倍の速さでした。結論:最速の検出器と最高のトラッカーの組み合わせにより、検出器の速度が向上する一方で、オンライントラッカーよりも精度が向上しました。重要性:ここで提案する方法は、ウェアラブルカメラと組み合わせて、臨床医が患者の自宅での日常生活における手の機能を直接測定するのに役立ち、SCI後の自立を可能にします。
Objective: Individuals with spinal cord injury (SCI) report upper limb function as their top recovery priority. To accurately represent the true impact of new interventions on patient function and independence, evaluation should occur in a natural setting. Wearable cameras can be used to monitor hand function at home, using computer vision to automatically analyze the resulting videos (egocentric video). A key step in this process, hand detection, is difficult to do robustly and reliably, hindering deployment of a complete monitoring system in the home and community. We propose an accurate and efficient hand detection method that uses a simple combination of existing detection and tracking algorithms. Methods: Detection, tracking, and combination methods were evaluated on a new hand detection dataset, consisting of 167,622 frames of egocentric videos collected on 17 individuals with SCI performing activities of daily living in a home simulation laboratory. Results: The F1-scores for the best detector and tracker alone (SSD and Median Flow) were 0.90$\pm$0.07 and 0.42$\pm$0.18, respectively. The best combination method, in which a detector was used to initialize and reset a tracker, resulted in an F1-score of 0.87$\pm$0.07 while being two times faster than the fastest detector alone. Conclusion: The combination of the fastest detector and best tracker improved the accuracy over online trackers while improving the speed of detectors. Significance: The method proposed here, in combination with wearable cameras, will help clinicians directly measure hand function in a patient's daily life at home, enabling independence after SCI.