ビデオから人間や動物の行動を分類することは、脳の機能と刺激に対する反応を理解するために生物医学分野で重要です。トリミングされたビデオで 1 人または複数の被験者によって実行されるアクティビティを分類するアクション認識は、これらの技術の多くの基礎を形成します。人間の行動認識のためのディープ ラーニング モデルは、過去 10 年間で大幅に進歩しました。最近では、動物の行動分類にディープラーニングによる行動認識を取り入れた研究への関心が高まっています。しかし、人間の行動認識方法はより発達しています。この調査では、畳み込みニューラル ネットワーク (CNN) アーキテクチャに基づいており、神経科学における動物の行動分類に適応されている、人間の行動認識および姿勢推定方法の概要を示します。動物の行動を分類する前に適用されることが多いため、画像フレームから関節位置を推定する姿勢推定が含まれています。まず、2D、2 ストリーム、および 3D CNN を通じて時空間特徴を学習するアルゴリズムに関する基本的な情報を提供します。オプティマイザー、損失関数、およびトレーニング手順を決定する動機となる要因を調査し、ベンチマーク データセットでのパフォーマンスを比較します。次に、これらの方法を使用または構築する動物の行動フレームワークを、必要な監督のレベルごとに整理して確認します。私たちの議論は、神経科学研究室での使いやすさではなく、基礎となる CNN モデルの技術的進化とそのアーキテクチャの適応 (説明) に独自に焦点を当てています。最後に、未解決の研究課題と考えられる研究の方向性について議論します。私たちの調査は、文献にほんの数例しかない完全に教師なしの動物行動分類システムを開発している研究者のためのリソースになるように設計されています.
Classifying the behavior of humans or animals from videos is important in biomedical fields for understanding brain function and response to stimuli. Action recognition, classifying activities performed by one or more subjects in a trimmed video, forms the basis of many of these techniques. Deep learning models for human action recognition have progressed significantly over the last decade. Recently, there is an increased interest in research that incorporates deep learning-based action recognition for animal behavior classification. However, human action recognition methods are more developed. This survey presents an overview of human action recognition and pose estimation methods that are based on convolutional neural network (CNN) architectures and have been adapted for animal behavior classification in neuroscience. Pose estimation, estimating joint positions from an image frame, is included because it is often applied before classifying animal behavior. First, we provide foundational information on algorithms that learn spatiotemporal features through 2D, two-stream, and 3D CNNs. We explore motivating factors that determine optimizers, loss functions and training procedures, and compare their performance on benchmark datasets. Next, we review animal behavior frameworks that use or build upon these methods, organized by the level of supervision they require. Our discussion is uniquely focused on the technical evolution of the underlying CNN models and their architectural adaptations (which we illustrate), rather than their usability in a neuroscience lab. We conclude by discussing open research problems, and possible research directions. Our survey is designed to be a resource for researchers developing fully unsupervised animal behavior classification systems of which there are only a few examples in the literature.