arXiv reaDer
CIRCLE: 豊富なコンテキスト環境でのキャプチャ
CIRCLE: Capture In Rich Contextual Environments
コンテキストに応じた生態学的環境で 3D の人間の動きを合成することは、現実世界で人々が実行する現実的な活動をシミュレートするために重要です。ただし、従来の光学ベースのモーション キャプチャ システムは、人間の動きと複雑なシーンを同時にキャプチャするのには適していません。豊富なコンテキスト 3D 人間のモーション データセットの欠如は、高品質のジェネレーティブな人間のモーション モデルを作成するための障害となります。アクターが現実世界でモーション キャプチャされている間、非常に文脈に即した仮想世界で知覚し、動作する新しいモーション取得システムを提案します。私たちのシステムは、オクルージョンの心配や現実世界での物理的なシーン構築を必要とせずに、非常に多様なシーンで高品質の人間の動きを迅速に収集することを可能にします。 CIRCLE は、RGBD ビデオなどのさまざまな形式で表される環境の自我中心の情報と組み合わせて、9 つのシーンにわたる 5 人の被験者からの 10 時間の全身リーチング モーションを含むデータセットです。このデータセットを使用して、シーン情報に基づいて人間の動きを生成するモデルをトレーニングします。データセットを活用して、モデルは自我中心のシーン情報を使用して、複雑な 3D シーンのコンテキストで重要なリーチ タスクを達成することを学習します。データをダウンロードするには、https://stanford-tml.github.io/circle_dataset/ にアクセスしてください。
Synthesizing 3D human motion in a contextual, ecological environment is important for simulating realistic activities people perform in the real world. However, conventional optics-based motion capture systems are not suited for simultaneously capturing human movements and complex scenes. The lack of rich contextual 3D human motion datasets presents a roadblock to creating high-quality generative human motion models. We propose a novel motion acquisition system in which the actor perceives and operates in a highly contextual virtual world while being motion captured in the real world. Our system enables rapid collection of high-quality human motion in highly diverse scenes, without the concern of occlusion or the need for physical scene construction in the real world. We present CIRCLE, a dataset containing 10 hours of full-body reaching motion from 5 subjects across nine scenes, paired with ego-centric information of the environment represented in various forms, such as RGBD videos. We use this dataset to train a model that generates human motion conditioned on scene information. Leveraging our dataset, the model learns to use ego-centric scene information to achieve nontrivial reaching tasks in the context of complex 3D scenes. To download the data please visit https://stanford-tml.github.io/circle_dataset/.
updated: Fri Mar 31 2023 09:18:12 GMT+0000 (UTC)
published: Fri Mar 31 2023 09:18:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト