arXiv reaDer
3D-POP - マーカーベースのモーション キャプチャを使用して、自由に動く鳥のマーカーレス 2D-3D 追跡を容易にする自動注釈アプローチ
3D-POP - An automated annotation approach to facilitate markerless 2D-3D tracking of freely moving birds with marker-based motion capture
機械学習とコンピューター ビジョンの最近の進歩は、研究者がマーカーを付けずに自由に動く動物のポーズと位置を追跡できるようにすることで、動物行動の分野に革命をもたらしています。ただし、マーカーを使用しない姿勢追跡用の動物の注釈付き画像の大規模なデータセット、特に正確な 3D 注釈を使用して複数の角度から撮影された高解像度画像はまだ不足しています。ここでは、モーション キャプチャ (mo-cap) システムを使用して、動物の動きと姿勢 (2D および 3D) に関する大量の注釈付きデータを半自動で取得する方法を提案します。私たちの方法は、動物に取り付けられたマーカーの位置を参照して、形態学的キーポイント (目、くちばし、尾など) の 3D 位置を抽出するという点で新規です。この方法を使用して、新しいデータセットを取得し、ここで提供します - 約 300k の注釈付きフレーム (400 万インスタンス) を含む 3D-POP で、3.6 の 4 つの異なるカメラ ビューから自由に動く 1 ~ 10 羽の鳥のグループを含むビデオの形式です。 m×4.2mのエリア。 3D-POP は、2D および 3D の正確なキーポイント アノテーションとバウンディング ボックスおよび個々の ID を備えた群れをなす鳥の最初のデータセットであり、2D から 3D へのマーカーレス ポーズ、軌道追跡、および鳥の識別の問題に対するソリューションの開発を促進します。
Recent advances in machine learning and computer vision are revolutionizing the field of animal behavior by enabling researchers to track the poses and locations of freely moving animals without any marker attachment. However, large datasets of annotated images of animals for markerless pose tracking, especially high-resolution images taken from multiple angles with accurate 3D annotations, are still scant. Here, we propose a method that uses a motion capture (mo-cap) system to obtain a large amount of annotated data on animal movement and posture (2D and 3D) in a semi-automatic manner. Our method is novel in that it extracts the 3D positions of morphological keypoints (e.g eyes, beak, tail) in reference to the positions of markers attached to the animals. Using this method, we obtained, and offer here, a new dataset - 3D-POP with approximately 300k annotated frames (4 million instances) in the form of videos having groups of one to ten freely moving birds from 4 different camera views in a 3.6m x 4.2m area. 3D-POP is the first dataset of flocking birds with accurate keypoint annotations in 2D and 3D along with bounding box and individual identities and will facilitate the development of solutions for problems of 2D to 3D markerless pose, trajectory tracking, and identification in birds.
updated: Thu Mar 23 2023 11:03:18 GMT+0000 (UTC)
published: Thu Mar 23 2023 11:03:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト