日常生活動作(ADL)の認識は、インテリジェントな支援ロボットにとって不可欠なプロセスですが、大きな注釈付きデータセットを収集するには、時間のかかる一時的なラベル付けが必要であり、データが実際の家庭で収集される場合など、プライバシーの問題が発生します。この作品では、人生シミュレーションビデオゲームをプレイしてADL認識のトレーニング例を構築する概念を探り、人気のある商用ゲームTHE SIMS4で作成されたSIMS4ACTIONデータセットを紹介します。トップダウン」方式で、ゲーム環境では、環境、カメラの角度、被写体の外観を自由に切り替えることができます。ゲームデータのADL認識は理論的な観点からは興味深いものですが、重要な課題は、スマートホームや支援ロボットなどの実際のアプリケーションにデータを転送することから生じます。この要件を満たすために、Sims4ActionにはGamingToRealベンチマークが付属しており、既存のADLデータセットから派生した実際のビデオでモデルが評価されます。ビデオベースのアクティビティ認識のための2つの最新のアルゴリズムをフレームワークに統合し、人生シミュレーションビデオゲームの価値を、安価で邪魔にならないトレーニングデータのソースとして明らかにします。しかし、私たちの結果は、ゲームと実際のデータの混合を伴うタスクが困難であり、新しい研究の方向性を開くことも示しています。データセットをhttps://github.com/aroitberg/sims4actionで公開します。
Recognizing Activities of Daily Living (ADL) is a vital process for intelligent assistive robots, but collecting large annotated datasets requires time-consuming temporal labeling and raises privacy concerns, e.g., if the data is collected in a real household. In this work, we explore the concept of constructing training examples for ADL recognition by playing life simulation video games and introduce the SIMS4ACTION dataset created with the popular commercial game THE SIMS 4. We build Sims4Action by specifically executing actions-of-interest in a "top-down" manner, while the gaming circumstances allow us to freely switch between environments, camera angles and subject appearances. While ADL recognition on gaming data is interesting from the theoretical perspective, the key challenge arises from transferring it to the real-world applications, such as smart-homes or assistive robotics. To meet this requirement, Sims4Action is accompanied with a GamingToReal benchmark, where the models are evaluated on real videos derived from an existing ADL dataset. We integrate two modern algorithms for video-based activity recognition in our framework, revealing the value of life simulation video games as an inexpensive and far less intrusive source of training data. However, our results also indicate that tasks involving a mixture of gaming and real data are challenging, opening a new research direction. We will make our dataset publicly available at https://github.com/aroitberg/sims4action.