StyleGANを使用した形状とスタイル操作に基づく似顔絵生成フレームワークを提示します。 StyleCariGANと呼ばれる私たちのフレームワークは、入力写真からリアルで詳細な似顔絵を自動的に作成し、形状の誇張度と色のスタイルタイプをオプションで制御します。私たちの方法の重要なコンポーネントは、StyleGANの粗いレイヤーの特徴マップを変調して望ましい似顔絵の形状の誇張を生成するために使用される形状の誇張ブロックです。まず、写真用のStyleGANの細かいレイヤーを、似顔絵を生成するようにトレーニングされたStyleGANの対応するレイヤーに交換することにより、写真から似顔絵スタイルに変換するためのレイヤー混合StyleGANを作成します。入力写真が与えられると、レイヤー混合モデルは似顔絵の詳細な色のスタイルを生成しますが、形状の誇張はありません。次に、レイヤー混合モデルの粗いレイヤーに形状誇張ブロックを追加し、入力の特徴的な外観を維持しながら形状誇張を作成するようにブロックをトレーニングします。実験結果は、私たちのStyleCariGANが、現在の最先端の方法と比較して、リアルで詳細な似顔絵を生成することを示しています。 StyleCariGANは、顔の表情の制御など、他のStyleGANベースの画像操作もサポートしていることを示します。
We present a caricature generation framework based on shape and style manipulation using StyleGAN. Our framework, dubbed StyleCariGAN, automatically creates a realistic and detailed caricature from an input photo with optional controls on shape exaggeration degree and color stylization type. The key component of our method is shape exaggeration blocks that are used for modulating coarse layer feature maps of StyleGAN to produce desirable caricature shape exaggerations. We first build a layer-mixed StyleGAN for photo-to-caricature style conversion by swapping fine layers of the StyleGAN for photos to the corresponding layers of the StyleGAN trained to generate caricatures. Given an input photo, the layer-mixed model produces detailed color stylization for a caricature but without shape exaggerations. We then append shape exaggeration blocks to the coarse layers of the layer-mixed model and train the blocks to create shape exaggerations while preserving the characteristic appearances of the input. Experimental results show that our StyleCariGAN generates realistic and detailed caricatures compared to the current state-of-the-art methods. We demonstrate StyleCariGAN also supports other StyleGAN-based image manipulations, such as facial expression control.