行動の定量化は、神経科学、獣医学、動物保護の取り組みに至るまでのアプリケーションで重要です。行動分析の一般的な重要なステップは、最初に動物の関連するキーポイントを抽出することです。これは姿勢推定として知られています。ただし、現在、ポーズの信頼できる推論には、ドメインの知識と、教師ありモデルを構築するための手動のラベル付け作業が必要です。まとめて SuperAnimal と呼ばれる新しい方法を可能にする一連の技術革新を提示し、追加のヒューマン ラベルとモデル トレーニングを必要としないディープ ラーニング モデルを開発および展開します。 SuperAnimal は、2 つのグローバル クラスの動物ポーズ モデルのみを使用して、45 種を超える種のビデオ推論を可能にします。モデルの微調整が必要な場合、SuperAnimal モデルはデータ効率が 10 倍高く、以前の転移学習アプローチよりも優れていることを示します。さらに、ビデオの教師なし改良を実行するための新しいビデオ適応方法を提供し、行動分類におけるモデルの有用性を示します。まとめると、これは行動分析のためのデータ効率の高いプラグアンドプレイ ソリューションを提供します。
Quantification of behavior is critical in applications ranging from neuroscience, veterinary medicine and animal conservation efforts. A common key step for behavioral analysis is first extracting relevant keypoints on animals, known as pose estimation. However, reliable inference of poses currently requires domain knowledge and manual labeling effort to build supervised models. We present a series of technical innovations that enable a new method, collectively called SuperAnimal, to develop and deploy deep learning models that require zero additional human labels and model training. SuperAnimal allows video inference on over 45 species with only two global classes of animal pose models. If the models need fine-tuning, we show SuperAnimal models are 10× more data efficient and outperform prior transfer learning approaches. Moreover, we provide a new video-adaptation method to perform unsupervised refinement of videos, and we illustrate the utility of our model in behavioral classification. Collectively, this presents a data-efficient, plug-and-play solution for behavioral analysis.