arXiv reaDer
類人猿の行動行動のトリプルストリームディープメトリック学習
Triple-stream Deep Metric Learning of Great Ape Behavioural Actions
大型類人猿の行動行動を認識するための最初のメトリック学習システムを提案します。私たちが提案するトリプル ストリーム埋め込みアーキテクチャは、野生で直接撮影されたカメラ トラップ ビデオで機能し、明示的な DensePose-C チンパンジーの身体部分セグメンテーション ストリームの利用が、従来の RGB 外観とオプティカル フロー ストリームを効果的に補完することを示しています。さまざまな機能融合手法とロングテール認識アプローチを使用して、システム バリアントを評価します。結果とアブレーションは、9 つの行動アクションにわたる 180,000 の手動で注釈が付けられたフレームを含む PanAf-500 データセットで達成された以前の結果よりも、トップ 1 精度で最大 12% のパフォーマンス向上を示しています。さらに、調査結果の定性的分析を提供し、メトリクス学習システムをロングテール認識技術で強化します。これは、そのデータセットに関する文献と比較して、クラスごとの平均精度 (ドメインで重要) を最大 23% 改善できることを示しています。 .最後に、埋め込み空間はメトリックとして構築されているため、類人猿の行動行動空間の最初のデータ主導の視覚化を提供し、新たな幾何学とトポロジーを明らかにします。この研究が、絶滅の危機に瀕している大型類人猿の利益のために、コンピューター ビジョンのこの重要な応用分野への関心をさらに高めることを願っています。
We propose the first metric learning system for the recognition of great ape behavioural actions. Our proposed triple stream embedding architecture works on camera trap videos taken directly in the wild and demonstrates that the utilisation of an explicit DensePose-C chimpanzee body part segmentation stream effectively complements traditional RGB appearance and optical flow streams. We evaluate system variants with different feature fusion techniques and long-tail recognition approaches. Results and ablations show performance improvements of ~12% in top-1 accuracy over previous results achieved on the PanAf-500 dataset containing 180,000 manually annotated frames across nine behavioural actions. Furthermore, we provide a qualitative analysis of our findings and augment the metric learning system with long-tail recognition techniques showing that average per class accuracy -- critical in the domain -- can be improved by ~23% compared to the literature on that dataset. Finally, since our embedding spaces are constructed as metric, we provide first data-driven visualisations of the great ape behavioural action spaces revealing emerging geometry and topology. We hope that the work sparks further interest in this vital application area of computer vision for the benefit of endangered great apes.
updated: Fri Jan 06 2023 18:36:04 GMT+0000 (UTC)
published: Fri Jan 06 2023 18:36:04 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト