視線リダイレクトの目的は、画像内の視線を目的の方向に操作することです。ただし、既存の方法では、知覚的に妥当な画像を生成するには不十分です。生成的敵対的ネットワークの進歩は、写実的な画像の生成において優れた結果を示しています。ただし、さまざまな画像属性をより細かく制御する機能はまだありません。このような微調整された制御を可能にするには、トレーニングデータのグラウンドトゥルースアノテーションを取得する必要がありますが、これは非常にコストがかかる可能性があります。この論文では、CUDA-GRと呼ばれる教師なしドメイン適応フレームワークを提案します。これは、ラベル付きソースドメインから視線表現を解きほぐし、ラベルなしターゲットドメインに転送することを学習します。私たちの方法は、人の外見情報を保存しながら、視線の方向をきめ細かく制御することを可能にします。ターゲットドメインで生成された画像とラベルのペアが知識の伝達に効果的であり、ダウンストリームタスクのパフォーマンスを向上させることができることを示します。ベンチマークデータセットに関する広範な実験は、提案された方法が定量的および定性的評価の両方で最先端の技術を上回ることができることを示しています。
The aim of gaze redirection is to manipulate the gaze in an image to the desired direction. However, existing methods are inadequate in generating perceptually reasonable images. Advancement in generative adversarial networks has shown excellent results in generating photo-realistic images. Though, they still lack the ability to provide finer control over different image attributes. To enable such fine-tuned control, one needs to obtain ground truth annotations for the training data which can be very expensive. In this paper, we propose an unsupervised domain adaptation framework, called CUDA-GR, that learns to disentangle gaze representations from the labeled source domain and transfers them to an unlabeled target domain. Our method enables fine-grained control over gaze directions while preserving the appearance information of the person. We show that the generated image-labels pairs in the target domain are effective in knowledge transfer and can boost the performance of the downstream tasks. Extensive experiments on the benchmarking datasets show that the proposed method can outperform state-of-the-art techniques in both quantitative and qualitative evaluation.