大規模なビデオアクション理解データセットの可用性は、人々を含む視覚シーンの解釈の進歩を促進しました。ただし、制約のない現実世界の環境で人間の活動を認識することを学ぶことは、潜在的に非常に不均衡でロングテールの分散データを伴い、特に反射的な大規模データセットがないため、依然として重要な課題です。ほとんどの既存の大規模データセットは、キッチンや部屋などの特定の環境または制約された環境、またはYouTubeなどのビデオ共有プラットフォームから収集されます。本論文では、マルチモーダルデータセットであるJRDB-Actを、既存のJRDBの拡張として紹介します。これは、社会的モバイルマニピュレータによってキャプチャされ、大学のキャンパス環境における人間の日常生活の実際の分布を反映します。 JRDB-Actは、アトミックアクションで高密度に注釈が付けられており、280万を超えるアクションラベルで構成され、大規模な時空間アクション検出データセットを構成しています。各人間の境界ボックスには、1つのポーズベースのアクションラベルと複数の(オプションの)インタラクションベースのアクションラベルが付けられています。さらに、JRDB-Actには、シーン内での相互作用に基づいて個人をグループ化し、社会活動(各社会グループに共通の活動)を推測するタスクに役立つ社会グループ識別注釈が付属しています。
The availability of large-scale video action understanding datasets has facilitated advances in the interpretation of visual scenes containing people. However, learning to recognize human activities in an unconstrained real-world environment, with potentially highly unbalanced and long-tailed distributed data remains a significant challenge, not least owing to the lack of a reflective large-scale dataset. Most existing large-scale datasets are either collected from a specific or constrained environment, e.g. kitchens or rooms, or video sharing platforms such as YouTube. In this paper, we introduce JRDB-Act, a multi-modal dataset, as an extension of the existing JRDB, which is captured by asocial mobile manipulator and reflects a real distribution of human daily life actions in a university campus environment. JRDB-Act has been densely annotated with atomic actions, comprises over 2.8M action labels, constituting a large-scale spatio-temporal action detection dataset. Each human bounding box is labelled with one pose-based action label and multiple (optional) interaction-based action labels. Moreover JRDB-Act comes with social group identification annotations conducive to the task of grouping individuals based on their interactions in the scene to infer their social activities (common activities in each social group).