脳卒中は、世界中の死亡率と身体障害の主要な原因であり、4 人に 1 人が一生のうちに発症する危険があります。入院前の脳卒中評価は、脳卒中患者を正確に特定し、病院でのさらなる検査と治療を加速する上で重要な役割を果たします。したがって、国立衛生研究所脳卒中尺度 (NIHSS)、シンシナティ病院前脳卒中尺度 (CPSS)、およびフェイス アーム スピード タイム (FAST) は、脳卒中評価のための世界的に知られているテストです。ただし、これらのテストの有効性は、神経科医がいない場合は懐疑的です。したがって、この研究では、マルチモーダル検査ビデオから脳卒中を検出できるモーション認識およびマルチ注意融合ネットワーク (MAMAF-Net) を提案します。ビデオ分析からの脳卒中検出に関する他の研究とは対照的に、私たちの研究は、脳卒中、一過性脳虚血発作 (TIA)、および健康なコントロールをカプセル化したデータセットを使用して、各被験者の複数のビデオ録画からエンドツーエンドのソリューションを初めて提案します。提案された MAMAF-Net は、患者の動きを感知するモーション認識モジュール、マルチ入力ビデオ データを融合する注意モジュール、注意ベースの抽出された特徴から診断を実行する 3D 畳み込みレイヤーで構成されます。収集された StrokeDATA データセットに対する実験結果は、提案された MAMAF-Net が 93.62% の感度と 95.33% の AUC スコアで脳卒中の検出に成功したことを示しています。
Stroke is a major cause of mortality and disability worldwide from which one in four people are in danger of incurring in their lifetime. The pre-hospital stroke assessment plays a vital role in identifying stroke patients accurately to accelerate further examination and treatment in hospitals. Accordingly, the National Institutes of Health Stroke Scale (NIHSS), Cincinnati Pre-hospital Stroke Scale (CPSS) and Face Arm Speed Time (F.A.S.T.) are globally known tests for stroke assessment. However, the validity of these tests is skeptical in the absence of neurologists. Therefore, in this study, we propose a motion-aware and multi-attention fusion network (MAMAF-Net) that can detect stroke from multimodal examination videos. Contrary to other studies on stroke detection from video analysis, our study for the first time proposes an end-to-end solution from multiple video recordings of each subject with a dataset encapsulating stroke, transient ischemic attack (TIA), and healthy controls. The proposed MAMAF-Net consists of motion-aware modules to sense the mobility of patients, attention modules to fuse the multi-input video data, and 3D convolutional layers to perform diagnosis from the attention-based extracted features. Experimental results over the collected StrokeDATA dataset show that the proposed MAMAF-Net achieves a successful detection of stroke with 93.62% sensitivity and 95.33% AUC score.