arXiv reaDer
人間のラベルを使用しない野生の点群からの 3D ヒューマン キーポイントの推定
3D Human Keypoints Estimation From Point Clouds in the Wild Without Human Labels
教師付き方法で点群から 3D 人間キーポイント検出器をトレーニングするには、大量の高品質ラベルが必要です。大量の人間の点群をキャプチャするのは比較的簡単ですが、3D キーポイントに注釈を付けるのは費用がかかり、主観的であり、間違いが発生しやすく、ロングテールの場合(まれなポーズをとる歩行者、スクーターなど)は特に困難です。この研究では、人間のラベルなしで点群から 3D 人間の関節の位置を学習するためのアプローチである、GC-KPL (Geometry Consistency にインスピレーションを得た Key Point Leaning) を提案します。私たちは、人体の構造と動きを考慮した新しい教師なし損失定式化によってこれを実現します。人間が注釈を付けたキーポイントを一切使用せずに、Waymo Open Dataset からの大規模なトレーニング セットでトレーニングすることにより、完全に監視されたアプローチと比較して妥当なパフォーマンスを達成できることを示します。さらに、バックボーンは教師なしトレーニングの恩恵を受けており、キーポイントの下流の少数ショット学習に役立ちます。この場合、ラベル付きトレーニング データの 10% のみを微調整するだけで、セット全体を微調整するのと同等のパフォーマンスが得られます。データセット全体でトレーニングし、大量のラベルなしデータを効率的に活用すると、GC-KPL が SoTA よりも大幅に優れたパフォーマンスを発揮することを実証しました。
Training a 3D human keypoint detector from point clouds in a supervised manner requires large volumes of high quality labels. While it is relatively easy to capture large amounts of human point clouds, annotating 3D keypoints is expensive, subjective, error prone and especially difficult for long-tail cases (pedestrians with rare poses, scooterists, etc.). In this work, we propose GC-KPL - Geometry Consistency inspired Key Point Leaning, an approach for learning 3D human joint locations from point clouds without human labels. We achieve this by our novel unsupervised loss formulations that account for the structure and movement of the human body. We show that by training on a large training set from Waymo Open Dataset without any human annotated keypoints, we are able to achieve reasonable performance as compared to the fully supervised approach. Further, the backbone benefits from the unsupervised training and is useful in downstream fewshot learning of keypoints, where fine-tuning on only 10 percent of the labeled training data gives comparable performance to fine-tuning on the entire set. We demonstrated that GC-KPL outperforms by a large margin over SoTA when trained on entire dataset and efficiently leverages large volumes of unlabeled data.
updated: Wed Jun 07 2023 19:46:30 GMT+0000 (UTC)
published: Wed Jun 07 2023 19:46:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト