顔画像の操作は、顔の属性とスタイルの観点から、出力面を目的のターゲット方向にシフトする生成タスクです。最近の作品は、スタイルの転送や属性の翻訳など、さまざまな編集手法で大きな成功を収めています。ただし、現在のアプローチは、純粋なスタイルの転送、または対話性が制限された事前定義された属性のセットの変換に焦点を合わせています。この問題に対処するために、FacialGANを提案します。これは、リッチなスタイルの転送とインタラクティブな顔の属性操作を同時に行うことができる新しいフレームワークです。ソース画像のアイデンティティを維持しながら、ターゲット画像のさまざまなスタイルをソース画像に転送します。次に、セグメンテーションマスクのジオメトリ情報を組み込んで、顔の属性をきめ細かく操作します。最後に、多目的学習戦略を導入して、特定の各タスクの損失を最適化します。 CelebAMask-HQをセマンティックマスクラベルとして使用したCelebA-HQデータセットでの実験は、スタイル転送、属性操作、多様性、顔の検証で視覚的に魅力的な結果を生成するモデルの能力を示しています。再現性のために、顔の操作を実行するためのインタラクティブなオープンソースツールと、モデルのPytorch実装を提供します。
Facial image manipulation is a generation task where the output face is shifted towards an intended target direction in terms of facial attribute and styles. Recent works have achieved great success in various editing techniques such as style transfer and attribute translation. However, current approaches are either focusing on pure style transfer, or on the translation of predefined sets of attributes with restricted interactivity. To address this issue, we propose FacialGAN, a novel framework enabling simultaneous rich style transfers and interactive facial attributes manipulation. While preserving the identity of a source image, we transfer the diverse styles of a target image to the source image. We then incorporate the geometry information of a segmentation mask to provide a fine-grained manipulation of facial attributes. Finally, a multi-objective learning strategy is introduced to optimize the loss of each specific tasks. Experiments on the CelebA-HQ dataset, with CelebAMask-HQ as semantic mask labels, show our model's capacity in producing visually compelling results in style transfer, attribute manipulation, diversity and face verification. For reproducibility, we provide an interactive open-source tool to perform facial manipulations, and the Pytorch implementation of the model.