この作品は、発作検出のコンテキストでニューラルネットワークを使用したビデオ処理のための複数の弱い監視戦略について説明します。発作の発症を研究するために、脳波の電気的活動を記録するために使用されるモダリティである脳波検査(EEG)から発作を検出する自動化された方法を設計しました。ただし、EEG信号だけでは、既存の検出方法では、EEGで同様の信号を持つアーティファクトから発作を区別するのに十分でない場合があります。たとえば、このようなアーティファクトは、新生児の場合、パッティング、ロッキング、または吸引によって引き起こされる可能性があります。この記事では、臨床ルーチン中に取得した新生児の連続ビデオ録画から、アーティファクトの例(新生児のパッティング)を自動的に検出することで、この問題に対処しました。フレーム間の相互相関行列を計算して、患者のパッティングを示す反復的な動きを示すパターンを分離しました。次に、畳み込みニューラルネットワークをトレーニングして、これらの行列に弱いトレーニングラベル(毎日の臨床手順中に生成されるノイズの多いラベル)を使用してパッティングイベントが含まれているかどうかを分類しました。ラベルが間違っていることがあるため、ラベルは弱いと見なされました。より多くのサンプルでトレーニングされ、より不確実で弱いラベルを含むネットワークが、より高いパフォーマンスを達成できるかどうかを調査しました。我々の結果は、パッティング検出の場合、そのようなネットワークは、精度を犠牲にすることなく、より高い想起を達成できることを示した。これらのネットワークは、タスクにとってより意味のある相互相関行列の領域に焦点を合わせました。より一般的には、私たちの仕事は、弱くラベル付けされた時系列からより正確なモデルを構築するための洞察を提供します。
This work describes multiple weak supervision strategies for video processing with neural networks in the context of seizure detection. To study seizure onset, we have designed automated methods to detect seizures from electroencephalography (EEG), a modality used for recording electrical brain activity. However, the EEG signal alone is sometimes not enough for existing detection methods to discriminate seizure from artifacts having a similar signal on EEG. For example, such artifacts could be triggered by patting, rocking or suctioning in the case of neonates. In this article, we addressed this problem by automatically detecting an example artifact -- patting of neonates -- from continuous video recordings of neonates acquired during clinical routine. We computed frame-to-frame cross-correlation matrices to isolate patterns showing repetitive movements indicative of patting of the patient. Next, a convolutional neural network was trained to classify whether these matrices contained patting events using weak training labels -- noisy labels generated during daily clinical procedure. The labels were considered weak as they were sometimes incorrect. We investigated whether networks trained with more samples, containing more uncertain and weak labels, could achieve a higher performance. Our results showed that, in the case of patting detection, such networks could achieve a higher recall, without sacrificing precision. These networks focused on areas of the cross-correlation matrices that were more meaningful to the task. More generally, our work gives insights into building more accurate models from weakly labelled time sequences.