arXiv reaDer
JRDB: A Dataset and Benchmark of Egocentric Robot Visual Perception of Humans in Built Environments
ソーシャルモバイルマニピュレータJackRabbotから収集された新しい自己中心的なデータセットであるJRDBを紹介します。データセットには、15fpsのステレオ円筒形360 ^∘RGBビデオ、2つのVelodyne 16ライダーからの3Dポイントクラウド、2つのSick Lidarからのライン3Dポイントクラウド、オーディオ信号、30fpsのRGB-Dビデオを含む64分の注釈付きマルチモーダルセンサーデータが含まれています、フィッシュアイカメラからの360 ^∘球形画像とロボットのホイールからのエンコーダー値。私たちのデータセットには、屋内環境や歩行者エリアなど、従来は過小評価されていたシーンのデータが組み込まれています。これらはすべて、静止時とナビゲーション時の両方で、ロボットのエゴパースペクティブからのものです。データセットには、5台の個別のカメラに広がる230万個を超えるバウンディングボックスと、シーン内のすべての人の周りにある180万個の関連する3D直方体が、合計3500を超える時間一貫した軌道で注釈が付けられています。データセットと注釈とともに、2Dおよび3Dの人物の検出と追跡のためのベンチマークとメトリックを起動します。将来、さらに多くの種類の注釈を付けて拡張する予定のこのデータセットを使用して、自己中心的なロボットビジョン、自律ナビゲーション、および周辺のすべての知覚タスクの分野で研究するための新しいデータソースとテストベンチを提供したいと考えています。人間環境における社会的ロボット工学。
We present JRDB, a novel egocentric dataset collected from our social mobile manipulator JackRabbot. The dataset includes 64 minutes of annotated multimodal sensor data including stereo cylindrical 360^∘ RGB video at 15 fps, 3D point clouds from two Velodyne 16 Lidars, line 3D point clouds from two Sick Lidars, audio signal, RGB-D video at 30 fps, 360^∘ spherical image from a fisheye camera and encoder values from the robot's wheels. Our dataset incorporates data from traditionally underrepresented scenes such as indoor environments and pedestrian areas, all from the ego-perspective of the robot, both stationary and navigating. The dataset has been annotated with over 2.3 million bounding boxes spread over 5 individual cameras and 1.8 million associated 3D cuboids around all people in the scenes totaling over 3500 time consistent trajectories. Together with our dataset and the annotations, we launch a benchmark and metrics for 2D and 3D person detection and tracking. With this dataset, which we plan on extending with further types of annotation in the future, we hope to provide a new source of data and a test-bench for research in the areas of egocentric robot vision, autonomous navigation, and all perceptual tasks around social robotics in human environments.
updated: Sat Apr 24 2021 07:09:03 GMT+0000 (UTC)
published: Fri Oct 25 2019 15:16:40 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト