従来、ビデオ会議は電気通信に広く採用されているソリューションですが、没入感の欠如は、本質的に顔の表現の2Dの性質に起因します。ヘッドマウントディスプレイ(HMD)を介したコミュニケーション/テレプレゼンスシステムへのバーチャルリアリティ(VR)の統合は、ユーザーにはるかに優れた没入型体験を提供することを約束します。ただし、HMDは、ユーザーの顔の外観や表情をブロックすることで障害を引き起こします。これらの問題を克服するために、HMDデオクルージョンのための新しい注意対応エンコーダ-デコーダアーキテクチャを提案します。また、ユーザーの短いビデオ(1〜2分)を使用して個人固有のモデルをトレーニングし、さまざまな外観でキャプチャし、ユーザーの目に見えないポーズや外観への一般化を示すことを提案します。最先端の方法よりも優れた定性的および定量的結果を報告します。また、既存のアニメーションと3D顔再構成パイプラインを使用したハイブリッドビデオ電話会議へのこのアプローチのアプリケーションを紹介します。
Traditionally, video conferencing is a widely adopted solution for telecommunication, but a lack of immersiveness comes inherently due to the 2D nature of facial representation. The integration of Virtual Reality (VR) in a communication/telepresence system through Head Mounted Displays (HMDs) promises to provide users a much better immersive experience. However, HMDs cause hindrance by blocking the facial appearance and expressions of the user. To overcome these issues, we propose a novel attention-enabled encoder-decoder architecture for HMD de-occlusion. We also propose to train our person-specific model using short videos (1-2 minutes) of the user, captured in varying appearances, and demonstrated generalization to unseen poses and appearances of the user. We report superior qualitative and quantitative results over state-of-the-art methods. We also present applications of this approach to hybrid video teleconferencing using existing animation and 3D face reconstruction pipelines.