このホワイトペーパーでは、種の検出、3Dモデルのフィッティング、メトリック学習の深層学習手法を1つのパイプラインに組み合わせて、独自のコートパターンを活用して写真から個々の動物を識別します。これはこれを試みる最初の作業であり、従来の2DバウンディングボックスまたはセグメンテーションベースのCNN識別パイプラインと比較して、このアプローチは効果的かつ明示的な視点の正規化を提供し、学習した生体認証人口空間の直接的な視覚化を可能にします。メトリック学習を使用しているため、パイプラインは開集合およびゼロショットの再識別シナリオにも容易に適用できることに注意してください。提案されたアプローチを個々のグレビーシマウマ(Equus grevyi)の識別に適用し、SMALSTデータセットに関する小規模な研究で、3Dモデルフィッティングの使用が実際にパフォーマンスに役立つことを示します。特に、3Dフィットモデルからの逆投影されたテクスチャは、データセットの2Dバウンディングボックスアプローチと比較して、識別精度を48.0%から56.8%に向上させます。研究は正確に小さすぎて、大規模な実世界のアプリケーション設定で達成可能な完全なパフォーマンスの可能性を推定することはできませんが、洗練されたツールとの比較では、私たちの仕事は、動物のバイオメトリクスの次のステップの概念的および実用的な基礎を築きます。オープンポピュレーション設定での駆動された、完全に3D対応の動物識別。完全な再現性とさらなる研究のインスピレーションとして、このペーパーでネットワークの重みと関連する促進ソースコードを公開します。
This paper combines deep learning techniques for species detection, 3D model fitting, and metric learning in one pipeline to perform individual animal identification from photographs by exploiting unique coat patterns. This is the first work to attempt this and, compared to traditional 2D bounding box or segmentation based CNN identification pipelines, the approach provides effective and explicit view-point normalisation and allows for a straight forward visualisation of the learned biometric population space. Note that due to the use of metric learning the pipeline is also readily applicable to open set and zero shot re-identification scenarios. We apply the proposed approach to individual Grevy's zebra (Equus grevyi) identification and show in a small study on the SMALST dataset that the use of 3D model fitting can indeed benefit performance. In particular, back-projected textures from 3D fitted models improve identification accuracy from 48.0% to 56.8% compared to 2D bounding box approaches for the dataset. Whilst the study is far too small accurately to estimate the full performance potential achievable in larger-scale real-world application settings and in comparisons against polished tools, our work lays the conceptual and practical foundations for a next step in animal biometrics towards deep metric learning driven, fully 3D-aware animal identification in open population settings. We publish network weights and relevant facilitating source code with this paper for full reproducibility and as inspiration for further research.