arXiv reaDer
Transfer Learning of Deep Spatiotemporal Networks to Model Arbitrarily Long Videos of Seizures
てんかん患者の管理には、発作記号論、発作中に発生する症状と徴候の詳細な分析が重要です。定性的視覚分析を使用した評価者間の信頼性は、記号論的特徴に対しては不十分であることがよくあります。したがって、客観的な評価には、ビデオで記録された発作の自動かつ定量的な分析が必要です。畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)を組み合わせて、てんかん発作の任意の長さのビデオの深い表現を学習する新しいアーキテクチャであるGESTURESを紹介します。大規模なヒューマンアクション認識(HAR)データセットで事前トレーニングされた時空間CNN(STCNN)を使用して、発作ビデオからサンプリングされた短いスニペット(約0.5秒)から特徴を抽出します。次に、RNNをトレーニングして、一連の特徴から発作レベルの表現を学習します。 68人の患者からの発作ビデオのデータセットをキュレートし、発作を限局性発作(FOS)(N = 106)と限局性から両側性強直間代発作(TCS)(N = 77)に分類する能力についてGESTURESを評価しました。双方向の長期短期記憶(BLSTM)ユニットを使用した場合の精度は98.9%です。 HARデータセットでトレーニングされたSTCNNをRNNと組み合わせて使用して、任意の長さの発作のビデオを正確に表すことができることを示します。 GESTURESは、一連のセミオロジーをモデル化することにより、正確な発作分類を提供できます。
Detailed analysis of seizure semiology, the symptoms and signs which occur during a seizure, is critical for management of epilepsy patients. Inter-rater reliability using qualitative visual analysis is often poor for semiological features. Therefore, automatic and quantitative analysis of video-recorded seizures is needed for objective assessment. We present GESTURES, a novel architecture combining convolutional neural networks (CNNs) and recurrent neural networks (RNNs) to learn deep representations of arbitrarily long videos of epileptic seizures. We use a spatiotemporal CNN (STCNN) pre-trained on large human action recognition (HAR) datasets to extract features from short snippets (approx. 0.5 s) sampled from seizure videos. We then train an RNN to learn seizure-level representations from the sequence of features. We curated a dataset of seizure videos from 68 patients and evaluated GESTURES on its ability to classify seizures into focal onset seizures (FOSs) (N = 106) vs. focal to bilateral tonic-clonic seizures (TCSs) (N = 77), obtaining an accuracy of 98.9% using bidirectional long short-term memory (BLSTM) units. We demonstrate that an STCNN trained on a HAR dataset can be used in combination with an RNN to accurately represent arbitrarily long videos of seizures. GESTURES can provide accurate seizure classification by modeling sequences of semiologies.
updated: Thu Aug 05 2021 11:01:53 GMT+0000 (UTC)
published: Tue Jun 22 2021 18:40:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト