arXiv reaDer
マルチ深度カメラ システムを使用したスキャンされた動物のセマンティック キーポイント抽出
Semantic keypoint extraction for scanned animals using multi-depth-camera systems
点群のキーポイント アノテーションは、3D 再構成、オブジェクト トラッキング、位置合わせ、特に変形可能または移動するシーンで重要なタスクです。農業ロボット工学の文脈では、家畜の自動化が状態評価または行動認識に取り組むことは重要なタスクです。この作業では、キーポイント抽出をキーポイントと点群の残りの部分との間の距離の回帰問題として再定式化することにより、点群のセマンティック キーポイント アノテーションの新しいアプローチを提案します。動径基底関数 (RBF) にマッピングされたポイント クラウド マニホールド上の距離を使用します。これは、エンコーダー デコーダー アーキテクチャを使用して学習されます。外部キャリブレーションとカメラ フレーム ドロップアウトに対するノイズを考慮することにより、マルチ深度カメラ システムに固有のデータ拡張に特別な考慮が払われます。さらに、動物の点群に適用できる計算効率の高い非剛体変形方法を調査します。私たちの方法は、複数のハードウェア同期RGB-Dカメラのキャリブレーションされたシステムを使用して、現場で収集されたデータ、移動中の肉牛でテストされています。
Keypoint annotation in point clouds is an important task for 3D reconstruction, object tracking and alignment, in particular in deformable or moving scenes. In the context of agriculture robotics, it is a critical task for livestock automation to work toward condition assessment or behaviour recognition. In this work, we propose a novel approach for semantic keypoint annotation in point clouds, by reformulating the keypoint extraction as a regression problem of the distance between the keypoints and the rest of the point cloud. We use the distance on the point cloud manifold mapped into a radial basis function (RBF), which is then learned using an encoder-decoder architecture. Special consideration is given to the data augmentation specific to multi-depth-camera systems by considering noise over the extrinsic calibration and camera frame dropout. Additionally, we investigate computationally efficient non-rigid deformation methods that can be applied to animal point clouds. Our method is tested on data collected in the field, on moving beef cattle, with a calibrated system of multiple hardware-synchronised RGB-D cameras.
updated: Wed Nov 16 2022 03:06:17 GMT+0000 (UTC)
published: Wed Nov 16 2022 03:06:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト