arXiv reaDer
確率的シーン認識モーション予測
Stochastic Scene-Aware Motion Prediction
コンピュータビジョンの長年の目標は、人間の行動をキャプチャし、モデル化し、現実的に合成することです。具体的には、データから学習することにより、仮想の人間が雑然とした屋内シーン内をナビゲートし、オブジェクトと自然に対話できるようにすることを目標としています。このような具体化された行動は、仮想現実、コンピューターゲーム、ロボット工学に応用できますが、合成された行動はトレーニングデータのソースとして使用できます。実際の人間の動きは多様であり、シーンに適応するため、これは困難です。たとえば、人はさまざまな場所でさまざまなスタイルのソファに座ったり横になったりすることができます。人間とシーンの相互作用をリアルに実行する仮想人間を合成する場合は、この多様性をモデル化する必要があります。ターゲットオブジェクトを使用して特定のアクションを実行するさまざまなスタイルをモデル化する、新しいデータ駆動型の確率的モーション合成方法を紹介します。シーン認識モーション予測用のSAMPと呼ばれる私たちの方法は、キャラクターが雑然としたシーンをナビゲートできるようにしながら、さまざまなジオメトリのオブジェクトをターゲットにするように一般化します。メソッドをトレーニングするために、さまざまな座っている、横になっている、歩いている、走っているスタイルをカバーするモーションキャプチャデータを収集しました。複雑な屋内シーンでの方法を示し、既存のソリューションと比較して優れたパフォーマンスを実現します。私たちのコードとデータは、https://samp.is.tue.mpg.deで調査できます。
A long-standing goal in computer vision is to capture, model, and realistically synthesize human behavior. Specifically, by learning from data, our goal is to enable virtual humans to navigate within cluttered indoor scenes and naturally interact with objects. Such embodied behavior has applications in virtual reality, computer games, and robotics, while synthesized behavior can be used as a source of training data. This is challenging because real human motion is diverse and adapts to the scene. For example, a person can sit or lie on a sofa in many places and with varying styles. It is necessary to model this diversity when synthesizing virtual humans that realistically perform human-scene interactions. We present a novel data-driven, stochastic motion synthesis method that models different styles of performing a given action with a target object. Our method, called SAMP, for Scene-Aware Motion Prediction, generalizes to target objects of various geometries while enabling the character to navigate in cluttered scenes. To train our method, we collected MoCap data covering various sitting, lying down, walking, and running styles. We demonstrate our method on complex indoor scenes and achieve superior performance compared to existing solutions. Our code and data are available for research at https://samp.is.tue.mpg.de.
updated: Wed Aug 18 2021 17:56:17 GMT+0000 (UTC)
published: Wed Aug 18 2021 17:56:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト