arXiv reaDer
MaskGAN: Towards Diverse and Interactive Facial Image Manipulation
 近年、顔画像操作は大きな進歩を遂げています。ただし、以前の方法では、事前定義された顔属性のセットを操作するか、ユーザーがインタラクティブに画像を操作する自由がほとんどありませんでした。これらの欠点を克服するために、MaskGANと呼ばれる新しいフレームワークを提案し、多様でインタラクティブな顔の操作を可能にします。私たちの重要な洞察は、セマンティックマスクが、忠実度を維持した柔軟な顔操作のための適切な中間表現として機能することです。 MaskGANには2つの主要コンポーネントがあります。1)密マッピングネットワーク(DMN)および2)編集動作シミュレーショントレーニング(EBST)。具体的には、DMNは自由形式のユーザーが変更したマスクとターゲット画像間のスタイルマッピングを学習し、多様な生成結果を可能にします。 EBSTは、ソースマスクでのユーザー編集動作をモデル化し、さまざまな操作された入力に対してフレームワーク全体をより堅牢にします。具体的には、補助監視信号としてデュアル編集の整合性が導入されています。広範な研究を容易にするために、CelebAMask-HQという名前の細かいマスクアノテーションを使用して、大規模な高解像度の顔データセットを構築します。 MaskGANは、属性の転送とスタイルのコピーという2つの挑戦的なタスクで包括的に評価され、他の最先端のメソッドよりも優れたパフォーマンスを発揮します。コード、モデル、およびデータセットは、で入手できます。
Facial image manipulation has achieved great progress in recent years. However, previous methods either operate on a predefined set of face attributes or leave users little freedom to interactively manipulate images. To overcome these drawbacks, we propose a novel framework termed MaskGAN, enabling diverse and interactive face manipulation. Our key insight is that semantic masks serve as a suitable intermediate representation for flexible face manipulation with fidelity preservation. MaskGAN has two main components: 1) Dense Mapping Network (DMN) and 2) Editing Behavior Simulated Training (EBST). Specifically, DMN learns style mapping between a free-form user modified mask and a target image, enabling diverse generation results. EBST models the user editing behavior on the source mask, making the overall framework more robust to various manipulated inputs. Specifically, it introduces dual-editing consistency as the auxiliary supervision signal. To facilitate extensive studies, we construct a large-scale high-resolution face dataset with fine-grained mask annotations named CelebAMask-HQ. MaskGAN is comprehensively evaluated on two challenging tasks: attribute transfer and style copy, demonstrating superior performance over other state-of-the-art methods. The code, models, and dataset are available at
updated: Wed Apr 01 2020 05:34:29 GMT+0000 (UTC)
published: Sat Jul 27 2019 14:23:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト