arXiv reaDer
生成的敵対ネットワークを使用したフォトリアリスティックな単眼視線のリダイレクト
Photo-Realistic Monocular Gaze Redirection Using Generative Adversarial Networks
 視線のリダイレクトは、特定の単眼のアイパッチ画像に対して視線を望ましい方向に変更するタスクです。ビデオ会議、映画、ゲーム、視線推定のためのトレーニングデータの生成などの多くのアプリケーションでは、目の周りの領域の外観を歪ませずに、写真のようにリアルな画像を生成しながら、視線をリダイレクトする必要があります。既存の方法には、知覚的にもっともらしい画像を生成する機能がありません。この作業では、生成的敵対的訓練を活用してターゲットの視線方向に調整された目の画像を合成することにより、この問題を軽減する新しい方法を提示します。私たちの方法は、合成画像と実際の画像の知覚的な類似性と一貫性を保証します。さらに、視線方向を正確に制御するために、視線推定損失が使用されます。高品質の画像を実現するために、知覚およびサイクルの一貫性の損失をアーキテクチャに組み込みます。大規模な評価では、提案された方法が画質とリダイレクトの精度の両方の点で最先端のアプローチよりも優れていることを示しています。最後に、生成された画像を使用して、実際のトレーニングデータを増強すると、視線推定タスクに大きな改善をもたらすことができることを示します。
Gaze redirection is the task of changing the gaze to a desired direction for a given monocular eye patch image. Many applications such as videoconferencing, films, games, and generation of training data for gaze estimation require redirecting the gaze, without distorting the appearance of the area surrounding the eye and while producing photo-realistic images. Existing methods lack the ability to generate perceptually plausible images. In this work, we present a novel method to alleviate this problem by leveraging generative adversarial training to synthesize an eye image conditioned on a target gaze direction. Our method ensures perceptual similarity and consistency of synthesized images to the real images. Furthermore, a gaze estimation loss is used to control the gaze direction accurately. To attain high-quality images, we incorporate perceptual and cycle consistency losses into our architecture. In extensive evaluations we show that the proposed method outperforms state-of-the-art approaches in terms of both image quality and redirection precision. Finally, we show that generated images can bring significant improvement for the gaze estimation task if used to augment real training data.
updated: Wed Nov 20 2019 10:23:17 GMT+0000 (UTC)
published: Fri Mar 29 2019 14:12:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト