アーティスティックスタイルの転送は、スタイルをサンプル画像からコンテンツ画像に移行することを目的としています。現在、最適化ベースの方法は優れたスタイル化品質を達成していますが、時間コストがかかるため、実際のアプリケーションが制限されます。一方、フィードフォワード方式は、特に全体的なグローバルパターンとローカルパターンが存在する場合、依然として複雑なスタイルを合成できません。ドラフトを描画して詳細を修正する一般的なペイントプロセスに触発されて、Laplacian Pyramid Network(LapStyle)という名前の新しいフィードフォワード方法を紹介します。 LapStyleは、最初に製図ネットワークを介してグローバルスタイルパターンを低解像度で転送します。次に、改訂ネットワークを介してローカルの詳細を高解像度で改訂します。改訂ネットワークは、ドラフトとラプラシアンフィルタリングによって抽出された画像テクスチャに従って残差画像を幻覚化します。複数のラプラシアンピラミッドレベルでリビジョンネットワークをスタックすることにより、より高い解像度の詳細を簡単に生成できます。最終的な定型化された画像は、すべてのピラミッドレベルの出力を集約することによって取得されます。 %また、パッチディスクリミネーターを導入して、敵対的にローカルパターンをよりよく学習します。実験は、私たちの方法が、全体的なスタイルのパターンが適切に転送される、高品質の定型化された画像をリアルタイムで合成できることを示しています。
Artistic style transfer aims at migrating the style from an example image to a content image. Currently, optimization-based methods have achieved great stylization quality, but expensive time cost restricts their practical applications. Meanwhile, feed-forward methods still fail to synthesize complex style, especially when holistic global and local patterns exist. Inspired by the common painting process of drawing a draft and revising the details, we introduce a novel feed-forward method named Laplacian Pyramid Network (LapStyle). LapStyle first transfers global style patterns in low-resolution via a Drafting Network. It then revises the local details in high-resolution via a Revision Network, which hallucinates a residual image according to the draft and the image textures extracted by Laplacian filtering. Higher resolution details can be easily generated by stacking Revision Networks with multiple Laplacian pyramid levels. The final stylized image is obtained by aggregating outputs of all pyramid levels. %We also introduce a patch discriminator to better learn local patterns adversarially. Experiments demonstrate that our method can synthesize high quality stylized images in real time, where holistic style patterns are properly transferred.