arXiv reaDer
Unsupervised Eyeglasses Removal in the Wild
 眼鏡の取り外しは、さまざまな種類の眼鏡(リムレスメガネ、フルリムメガネ、サングラスなど)を取り外し、適切な目を回復するのが困難です。視覚的なバリエーションが大きいため、従来の方法にはスケーラビリティがありません。既存の作品のほとんどは、研究室などの制御された環境で正面の顔画像に焦点を当てており、さまざまな眼鏡タイプに合わせて特定のシステムを設計する必要があります。この制限に対処するために、野生のさまざまなタイプのメガネを処理できるEyeglasses Removal Generative Adversarial Network(ERGAN)と呼ばれる統合されたメガネ削除モデルを提案します。提案された方法は、眼鏡の位置の密な注釈に依存しませんが、弱い注釈のある大規模な顔画像の恩恵を受けます。具体的には、2つの関連するタスクを同時に研究します。つまり、眼鏡の取り外しと着用です。眼鏡がある場合とない場合の2つの顔画像を考えると、提案されたモデルは2つの顔の目の領域を交換することを学習します。生成メカニズムは目の領域に焦点を合わせ、新しい顔を生成する難しさを侵します。実験では、提案された方法が現実性と多様性の点で競争力のある除去品質を達成することを示しています。さらに、顔認証や表情認識など、いくつかの後続タスクでERGANを評価します。この実験は、この方法がこれらのタスクの前処理方法として役立つことを示しています。
Eyeglasses removal is challenging in removing different kinds of eyeglasses, e.g., rimless glasses, full-rim glasses and sunglasses, and recovering appropriate eyes. Due to the large visual variants, the conventional methods lack scalability. Most existing works focus on the frontal face images in the controlled environment, such as the laboratory, and need to design specific systems for different eyeglass types. To address the limitation, we propose a unified eyeglass removal model called Eyeglasses Removal Generative Adversarial Network (ERGAN), which could handle different types of glasses in the wild. The proposed method does not depend on the dense annotation of eyeglasses location but benefits from the large-scale face images with weak annotations. Specifically, we study the two relevant tasks simultaneously, i.e., removing and wearing eyeglasses. Given two facial images with and without eyeglasses, the proposed model learns to swap the eye area in two faces. The generation mechanism focuses on the eye area and invades the difficulty of generating a new face. In the experiment, we show the proposed method achieves a competitive removal quality in terms of realism and diversity. Furthermore, we evaluate ERGAN on several subsequent tasks, such as face verification and facial expression recognition. The experiment shows that our method could serve as a pre-processing method for these tasks.
updated: Fri May 15 2020 15:08:18 GMT+0000 (UTC)
published: Mon Sep 16 2019 05:13:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト