arXiv reaDer
バーチャルリアリティアプリケーションのスムーズなヘッドトラッキング
Smooth head tracking for virtual reality applications
この作業では、仮想3D環境との人間と機械のリアルタイムの相互作用のための新しいヘッドトラッキングソリューションを提案します。このソリューションは、RGBDデータを活用して、ユーザーの頭の動きに応じて仮想カメラのポーズを計算します。このプロセスは、センサーによって配信された画像から顔の特徴のセットを抽出することから始まります。このような特徴は、現在の頭のポーズを計算するために、参照画像内のそれぞれの特徴と照合されます。その後、予測アプローチを使用して、最も可能性の高い次の頭の動き(最終ポーズ)を推測します。次に、ピタゴラスのホドグラフ補間を適用して、2つのポーズ間で取られるパスとローカルフレームを決定します。その結果、ユーザーの視線に応じて仮想シーンにカメラを設定するための入力として機能する滑らかな頭の軌道が得られます。結果として得られるモーションモデルには、次のような利点があります。時間的に連続しているため、レンダリングの任意のフレームレートに適応します。ユーザーが追跡マーカーを着用する必要がないため、人間工学的です。スムーズで、レンダリングがぎくしゃくすることはありません。また、最小の曲げエネルギーでパスを生成するため、ねじれ率と曲率が最小化されます。
In this work, we propose a new head-tracking solution for human-machine real-time interaction with virtual 3D environments. This solution leverages RGBD data to compute virtual camera pose according to the movements of the user's head. The process starts with the extraction of a set of facial features from the images delivered by the sensor. Such features are matched against their respective counterparts in a reference image for the computation of the current head pose. Afterwards, a prediction approach is used to guess the most likely next head move (final pose). Pythagorean Hodograph interpolation is then adapted to determine the path and local frames taken between the two poses. The result is a smooth head trajectory that serves as an input to set the camera in virtual scenes according to the user's gaze. The resulting motion model has the advantage of being: continuous in time, it adapts to any frame rate of rendering; it is ergonomic, as it frees the user from wearing tracking markers; it is smooth and free from rendering jerks; and it is also torsion and curvature minimizing as it produces a path with minimum bending energy.
updated: Wed Oct 27 2021 05:47:21 GMT+0000 (UTC)
published: Wed Oct 27 2021 05:47:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト