画像にないものを見ることは、コンピューター ビジョンの幅広い使命の 1 つです。ディープ ラーニングの登場により、画像を修復する技術が大幅に進歩しました。この論文では、人間の顔に特有のオクルージョンに取り組む方法を提案します。バーチャル プレゼンスは、将来のコミュニケーションとレクリエーションにおける有望な方向性です。ただし、仮想現実 (VR) ヘッドセットは顔の大部分を覆い隠し、仮想世界での顔の写真のようにリアルな外観を妨げます。目の領域の閉塞を解除するための最先端の画像修復方法では、使用可能な結果が得られません。この目的のために、この問題に対処するために使用可能な結果を提供する実用的なソリューションを提案し、VR 設定でユーザーのリアルタイムの写真のようにリアルな非閉塞面の使用を可能にします。
To see what is not in the image is one of the broader missions of computer vision. Technology to inpaint images has made significant progress with the coming of deep learning. This paper proposes a method to tackle occlusion specific to human faces. Virtual presence is a promising direction in communication and recreation for the future. However, Virtual Reality (VR) headsets occlude a significant portion of the face, hindering the photo-realistic appearance of the face in the virtual world. State-of-the-art image inpainting methods for de-occluding the eye region does not give usable results. To this end, we propose a working solution that gives usable results to tackle this problem enabling the use of the real-time photo-realistic de-occluded face of the user in VR settings.