arXiv reaDer
Cross-Modal Analysis of Human Detection for Robotics: An Industrial Case Study
センシングおよび学習アルゴリズムの進歩により、ロボットによる人間の検出、特に自動運転車の歩行者検出や消費者環境での近距離の人の検出など、選択されたユースケースでのソリューションがますます成熟しています。この進歩にもかかわらず、「どのセンサーとアルゴリズムの組み合わせが、目の前の人の検出タスクに最も適しているか」という簡単な質問があります。答えるのは難しいままです。この論文では、ロボット工学で一般的に使用されるセンサーとアルゴリズムの組み合わせの体系的なクロスモーダル分析を実施することにより、この問題に取り組んでいます。困難な産業ユースケースで、2D範囲データ、3D LIDAR、RGB-Dデータ、およびそれらの選択された組み合わせに対する最先端の人物検出器のパフォーマンスを比較します。さらに、産業用ターゲットドメインでのデータ不足に関連する問題に対処し、3Dポイントクラウドでの人間の検出に関する最近の研究は、主に自動運転シナリオに焦点を当てています。ロボット工学アプリケーションでこれらの方法論の進歩を活用するために、強力な画像ベースのRGB-D検出器を拡張して、弱い3Dバウンディングボックスの形でLIDAR検出器のクロスモーダル監視を提供することにより、シンプルでありながら効果的なマルチセンサー転送学習戦略を利用します。ラベル。私たちの結果は、検出パフォーマンス、一般化、フレームレート、および計算要件の観点から、さまざまなアプローチ間で大きな差異があることを示しています。私たちのユースケースには、幅広いサービスロボットアプリケーションを代表する難しさが含まれているため、これらの結果は、さらなる研究に関連する未解決の課題を示し、ロボットシステムの設計について実践者に貴重なサポートを提供すると考えています。
Advances in sensing and learning algorithms have led to increasingly mature solutions for human detection by robots, particularly in selected use-cases such as pedestrian detection for self-driving cars or close-range person detection in consumer settings. Despite this progress, the simple question "which sensor-algorithm combination is best suited for a person detection task at hand?" remains hard to answer. In this paper, we tackle this issue by conducting a systematic cross-modal analysis of sensor-algorithm combinations typically used in robotics. We compare the performance of state-of-the-art person detectors for 2D range data, 3D lidar, and RGB-D data as well as selected combinations thereof in a challenging industrial use-case. We further address the related problems of data scarcity in the industrial target domain, and that recent research on human detection in 3D point clouds has mostly focused on autonomous driving scenarios. To leverage these methodological advances for robotics applications, we utilize a simple, yet effective multi-sensor transfer learning strategy by extending a strong image-based RGB-D detector to provide cross-modal supervision for lidar detectors in the form of weak 3D bounding box labels. Our results show a large variance among the different approaches in terms of detection performance, generalization, frame rates and computational requirements. As our use-case contains difficulties representative for a wide range of service robot applications, we believe that these results point to relevant open challenges for further research and provide valuable support to practitioners for the design of their robot system.
updated: Tue Aug 03 2021 13:33:37 GMT+0000 (UTC)
published: Tue Aug 03 2021 13:33:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト