この作業では、Mixed Reality (MR) アプリケーションでのビデオ パススルーによる自己アバターの作成について説明します。商用ヘッド マウント ディスプレイ (HMD) でのカスタム MR ビデオ パススルーの実装、ディープ ラーニングに基づくリアルタイムの自己中心的なボディ セグメンテーション アルゴリズム、最適化されたオフロード アーキテクチャなど、エンド ツー エンドのシステムを紹介します。 HMD を備えたセグメンテーション サーバー。この技術を検証するために、ユーザーが活火山の火口の上にある狭いタイルの小道を歩かなければならない没入型の VR 体験を設計しました。この研究は、3 つの身体表現条件下で実施されました。仮想手、色ベースの全身セグメンテーションによるビデオ パススルー、およびディープ ラーニングによる全身セグメンテーションによるビデオ パススルーです。この没入体験は、女性30名、男性28名で実施されました。私たちの知る限りでは、これは MR シーンでユーザーを表すビデオベースの自己アバターの評価に焦点を当てた最初のユーザー調査です。結果は、プレゼンスの観点から、さまざまな身体表現の間に有意な差は見られず、仮想の手と全身表現の間のいくつかの実施形態コンポーネントで中程度の改善が見られました。視覚品質の結果は、全身の知覚と全体的なセグメンテーションの品質に関して、深層学習アルゴリズムからのより良い結果を示しました。ビデオベースの自己アバターの使用に関するいくつかの議論と、評価方法に関するいくつかの考察を提供します。提案された E2E ソリューションは最先端技術の境界にあるため、成熟するまでにはまだ改善の余地があります。ただし、このソリューションは、新しい MR 分散ソリューションの重要な出発点として機能します。
In this work we explore the creation of self-avatars through video pass-through in Mixed Reality (MR) applications. We present our end-to-end system, including: custom MR video pass-through implementation on a commercial head mounted display (HMD), our deep learning-based real-time egocentric body segmentation algorithm, and our optimized offloading architecture, to communicate the segmentation server with the HMD. To validate this technology, we designed an immersive VR experience where the user has to walk through a narrow tiles path over an active volcano crater. The study was performed under three body representation conditions: virtual hands, video pass-through with color-based full-body segmentation and video pass-through with deep learning full-body segmentation. This immersive experience was carried out by 30 women and 28 men. To the best of our knowledge, this is the first user study focused on evaluating video-based self-avatars to represent the user in a MR scene. Results showed no significant differences between the different body representations in terms of presence, with moderate improvements in some Embodiment components between the virtual hands and full-body representations. Visual Quality results showed better results from the deep-learning algorithms in terms of the whole body perception and overall segmentation quality. We provide some discussion regarding the use of video-based self-avatars, and some reflections on the evaluation methodology. The proposed E2E solution is in the boundary of the state of the art, so there is still room for improvement before it reaches maturity. However, this solution serves as a crucial starting point for novel MR distributed solutions.