正確な動物の姿勢の推定は、動物の行動を理解するための重要なステップであり、野生生物の保護など、多くの下流のアプリケーションに役立つ可能性があります。以前の作品は、動物種の多様性を無視し、一般化能力を制限しながら、特定の動物にのみ焦点を当てています。本論文では、動物の姿勢推定の研究を容易にするために、一般的な動物の姿勢推定のための最初の大規模ベンチマークであるAP-10Kを提案する。 AP-10Kは、23の動物ファミリーと60の種から収集およびフィルタリングされた、10,015の画像で構成されており、分類学的ランクと、手動でラベル付けおよびチェックされた高品質のキーポイント注釈が付けられています。 AP-10Kに基づいて、代表的なポーズ推定モデルを次の3つのトラックでベンチマークします:(1)動物のポーズ推定のための教師あり学習、(2)人間のポーズ推定から動物のポーズ推定へのクロスドメイン転送学習、(3)イントラ-そして目に見えない動物のための家族間ドメインの一般化。実験結果は、正確さと一般化能力の両方の観点から、多様な動物種からの学習の優位性に関する確かな経験的証拠を提供します。それは、動物の姿勢推定における将来の研究を促進するための新しい方向性を開きます。 AP-10kは、https://github.com/AlexTheBad/AP10Kで公開されています。
Accurate animal pose estimation is an essential step towards understanding animal behavior, and can potentially benefit many downstream applications, such as wildlife conservation. Previous works only focus on specific animals while ignoring the diversity of animal species, limiting the generalization ability. In this paper, we propose AP-10K, the first large-scale benchmark for general animal pose estimation, to facilitate the research in animal pose estimation. AP-10K consists of 10,015 images collected and filtered from 23 animal families and 60 species following the taxonomic rank and high-quality keypoint annotations labeled and checked manually. Based on AP-10K, we benchmark representative pose estimation models on the following three tracks: (1) supervised learning for animal pose estimation, (2) cross-domain transfer learning from human pose estimation to animal pose estimation, and (3) intra- and inter-family domain generalization for unseen animals. The experimental results provide sound empirical evidence on the superiority of learning from diverse animals species in terms of both accuracy and generalization ability. It opens new directions for facilitating future research in animal pose estimation. AP-10k is publicly available at https://github.com/AlexTheBad/AP10K.