この論文では、ホームケージでのマウスの行動分類のための時空間深層学習アプローチを紹介します。さまざまな変更を加えた一連のデュアル ストリーム アーキテクチャを使用してパフォーマンスを向上させ、ネットワーク全体で定期的にストリームを共同で処理する新しい機能共有アプローチを導入します。このアプローチの有効性を調査するために、モデルは、ストリームを分離し、主要な分類子と同じ厳密な方法でトレーニング/テストすることによって評価されました。単独飼育マウスの注釈付きで公開されているデータセットを使用して、インセプションベースのネットワークとアテンションベースのネットワークのアンサンブルを使用して、86.47% の予測精度を達成しました。どちらもこの機能共有を利用しています。また、アブレーション研究を通じて、すべてのモデルについて、機能共有アーキテクチャが、個別のストリームを持つ従来のアーキテクチャよりも一貫して優れたパフォーマンスを発揮することを示しています。最高のパフォーマンスを発揮するモデルは、マウスと人間の両方の他のアクティビティ データセットでさらに評価されました。今後の作業では、教師なし異常検出ドメインにおける行動分類に対する特徴共有の有効性を調査します。
This paper presents a spatiotemporal deep learning approach for mouse behavioural classification in the home-cage. Using a series of dual-stream architectures with assorted modifications to increase performance, we introduce a novel feature sharing approach that jointly processes the streams at regular intervals throughout the network. To investigate the efficacy of this approach, models were evaluated by dissociating the streams and training/testing in the same rigorous manner as the main classifiers. Using an annotated, publicly available dataset of a singly-housed mice, we achieve prediction accuracy of 86.47% using an ensemble of a Inception-based network and an attention-based network, both of which utilize this feature sharing. We also demonstrate through ablation studies that for all models, the feature-sharing architectures consistently perform better than conventional ones having separate streams. The best performing models were further evaluated on other activity datasets, both mouse and human. Future work will investigate the effectiveness of feature sharing to behavioural classification in the unsupervised anomaly detection domain.