arXiv reaDer
製図と改訂:高速で高品質の芸術的なスタイルの転送のためのラプラシアンピラミッドネットワーク
Drafting and Revision: Laplacian Pyramid Network for Fast High-Quality Artistic Style Transfer
アーティスティックスタイルの転送は、スタイルをサンプル画像からコンテンツ画像に移行することを目的としています。現在、最適化ベースの方法は優れたスタイル化品質を達成していますが、時間コストがかかるため、実際のアプリケーションが制限されます。一方、フィードフォワード方式は、特に全体的なグローバルパターンとローカルパターンが存在する場合、依然として複雑なスタイルを合成できません。ドラフトを描画して詳細を修正する一般的なペイントプロセスに触発されて、Laplacian Pyramid Network(LapStyle)という名前の新しいフィードフォワード方法を紹介します。 LapStyleは、最初に製図ネットワークを介してグローバルスタイルパターンを低解像度で転送します。次に、改訂ネットワークを介してローカルの詳細を高解像度で改訂します。改訂ネットワークは、ドラフトとラプラシアンフィルタリングによって抽出された画像テクスチャに従って残差画像を幻覚化します。複数のラプラシアンピラミッドレベルでリビジョンネットワークをスタックすることにより、より高い解像度の詳細を簡単に生成できます。最終的な定型化された画像は、すべてのピラミッドレベルの出力を集約することによって取得されます。 %また、パッチディスクリミネーターを導入して、敵対的にローカルパターンをよりよく学習します。実験は、私たちの方法が、全体的なスタイルのパターンが適切に転送される、高品質の定型化された画像をリアルタイムで合成できることを示しています。
Artistic style transfer aims at migrating the style from an example image to a content image. Currently, optimization-based methods have achieved great stylization quality, but expensive time cost restricts their practical applications. Meanwhile, feed-forward methods still fail to synthesize complex style, especially when holistic global and local patterns exist. Inspired by the common painting process of drawing a draft and revising the details, we introduce a novel feed-forward method named Laplacian Pyramid Network (LapStyle). LapStyle first transfers global style patterns in low-resolution via a Drafting Network. It then revises the local details in high-resolution via a Revision Network, which hallucinates a residual image according to the draft and the image textures extracted by Laplacian filtering. Higher resolution details can be easily generated by stacking Revision Networks with multiple Laplacian pyramid levels. The final stylized image is obtained by aggregating outputs of all pyramid levels. %We also introduce a patch discriminator to better learn local patterns adversarially. Experiments demonstrate that our method can synthesize high quality stylized images in real time, where holistic style patterns are properly transferred.
updated: Sun Apr 18 2021 01:09:09 GMT+0000 (UTC)
published: Mon Apr 12 2021 11:53:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト