マウスの行動の自動分析は、神経科学の多くのアプリケーションにとって重要です。ただし、ビデオや画像からマウスの行動を定量化することは依然として困難な問題であり、ポーズの推定がマウスの行動を説明する上で重要な役割を果たします。ディープラーニングベースの方法は、マウスやその他の動物のポーズ推定において有望な進歩を遂げましたが、複雑なシナリオ(たとえば、オクルージョン、目に見えないキーポイント、異常なポーズ)を適切に処理することはできません。特に、マウスの体は非常に変形しやすいため、マウスの体のさまざまなキーポイントを正確に特定することは大きな課題です。この論文では、新しい砂時計ネットワークベースのモデル、すなわちグラフィカルモデルベースの構造化コンテキスト拡張ネットワーク(GM-SCENet)を提案します。ここで、2つの効果的なモジュール、つまり構造化コンテキストミキサー(SCM)とカスケードマルチレベル監視モジュール(CMLS)があります。設計。 SCMは、体の部分の違いを綿密に考慮した新しいグラフィカルモデルによって、各マウス部分の提案された構造化コンテキスト情報を適応的に学習および強化できます。次に、CMLSモジュールは、マルチレベル情報を生成することにより、提案されたSCMと砂時計ネットワークを共同でトレーニングするように設計されています。これにより、ネットワーク全体の堅牢性が向上します。 SCMとCMLSモジュールからのマルチレベル予測に基づいて、ローカリゼーション結果を強化するための推論方法も提案します。最後に、提案されたアプローチをいくつかのベースラインに対して評価します...
Automated analysis of mouse behaviours is crucial for many applications in neuroscience. However, quantifying mouse behaviours from videos or images remains a challenging problem, where pose estimation plays an important role in describing mouse behaviours. Although deep learning based methods have made promising advances in mouse or other animal pose estimation, they cannot properly handle complicated scenarios (e.g., occlusions, invisible keypoints, and abnormal poses). Particularly, since mouse body is highly deformable, it is a big challenge to accurately locate different keypoints on the mouse body. In this paper, we propose a novel hourglass network based model, namely Graphical Model based Structured Context Enhancement Network (GM-SCENet) where two effective modules, i.e., Structured Context Mixer (SCM) and Cascaded Multi-Level Supervision module (CMLS) are designed. The SCM can adaptively learn and enhance the proposed structured context information of each mouse part by a novel graphical model with close consideration on the difference between body parts. Then, the CMLS module is designed to jointly train the proposed SCM and the hourglass network by generating multi-level information, which increases the robustness of the whole network. Based on the multi-level predictions from the SCM and the CMLS module, we also propose an inference method to enhance the localization results. Finally, we evaluate our proposed approach against several baselines...