arXiv reaDer
ディープニューラルネットワークを使用したアイコンタクト修正
Eye Contact Correction using Deep Neural Networks
 一般的なビデオ会議のセットアップでは、ディスプレイではなくカメラを覗く必要があるため、通話中にアイコンタクトを維持するのは困難です。カメラとディスプレイの相対位置に関係なくアイコンタクトを復元するアイコンタクト補正モデルを提案します。以前のソリューションとは異なり、このモデルは、入力としてリダイレクト角度またはカメラ/ディスプレイ/ユーザージオメトリを必要とせずに、視線を任意の方向から中心にリダイレクトします。単眼の画像を入力し、視界を修正するためにベクトル場と輝度マップを生成する深い畳み込みニューラルネットワークを使用します。完璧にラベル付けされた合成的に生成されたフォトリアリスティックな画像の大きなセットで、このモデルを双方向でトレーニングします。学習されたモデルは、追加のコストなしで暗黙的に入力視線を予測する堅牢なアイコンタクトコレクターです。当社のシステムは、主にビデオ会議体験の品質を改善するために設計されています。そのため、一連の制御メカニズムを使用して、不気味な結果を防ぎ、スムーズで自然なビデオ会議体験を保証します。アイコンタクト修正システム全体は、汎用CPU上でリアルタイムでエンドツーエンドで実行され、専用のハードウェアを必要としないため、さまざまなデバイスでソリューションを実現できます。
In a typical video conferencing setup, it is hard to maintain eye contact during a call since it requires looking into the camera rather than the display. We propose an eye contact correction model that restores the eye contact regardless of the relative position of the camera and display. Unlike previous solutions, our model redirects the gaze from an arbitrary direction to the center without requiring a redirection angle or camera/display/user geometry as inputs. We use a deep convolutional neural network that inputs a monocular image and produces a vector field and a brightness map to correct the gaze. We train this model in a bi-directional way on a large set of synthetically generated photorealistic images with perfect labels. The learned model is a robust eye contact corrector which also predicts the input gaze implicitly at no additional cost. Our system is primarily designed to improve the quality of video conferencing experience. Therefore, we use a set of control mechanisms to prevent creepy results and to ensure a smooth and natural video conferencing experience. The entire eye contact correction system runs end-to-end in real-time on a commodity CPU and does not require any dedicated hardware, making our solution feasible for a variety of devices.
updated: Thu Dec 26 2019 17:59:44 GMT+0000 (UTC)
published: Wed Jun 12 2019 21:15:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト