arXiv reaDer
AesUST: 審美的に強化されたユニバーサル スタイル トランスファーに向けて
AesUST: Towards Aesthetic-Enhanced Universal Style Transfer
最近の研究では、任意の視覚スタイルをコンテンツ画像に転送するユニバーサル スタイル転送で顕著な成功が示されています。しかし、既存のアプローチは、不調和なパターンや明白なアーティファクトを導入する美的非現実的な問題に悩まされており、実際の絵画から結果を簡単に見つけることができます.この制限に対処するために、任意のスタイルに対して審美的により現実的で心地よい結果を生成できる、新しい審美的に強化されたユニバーサル スタイル トランスファー アプローチである AesUST を提案します。具体的には、私たちのアプローチは、アーティストが作成した絵画の大規模なコーパスから、普遍的な人間にとって楽しい美的特徴を学習する美的弁別器を導入します。次に、美的機能が組み込まれ、新しい美的認識スタイル アテンション (AesSA) モジュールを介してスタイル転送プロセスが強化されます。このような AesSA モジュールにより、当社の AesUST は、スタイル イメージのグローバルな美的チャネル分布とコンテンツ イメージのローカルの意味空間分布に従って、スタイル パターンを効率的かつ柔軟に統合できます。さらに、モデルをより効果的にトレーニングし、スタイライゼーションのパフォーマンスをさらに向上させるために、2 つの美的正則化を使用した新しい 2 段階の転送トレーニング戦略も開発しています。広範な実験とユーザー調査により、私たちのアプローチが、最先端の技術よりも審美的に調和のとれた現実的な結果を合成し、実際のアーティストが作成した絵画との格差が大幅に縮小されることが実証されています。コードは https://github.com/EndyWon/AesUST で入手できます。
Recent studies have shown remarkable success in universal style transfer which transfers arbitrary visual styles to content images. However, existing approaches suffer from the aesthetic-unrealistic problem that introduces disharmonious patterns and evident artifacts, making the results easy to spot from real paintings. To address this limitation, we propose AesUST, a novel Aesthetic-enhanced Universal Style Transfer approach that can generate aesthetically more realistic and pleasing results for arbitrary styles. Specifically, our approach introduces an aesthetic discriminator to learn the universal human-delightful aesthetic features from a large corpus of artist-created paintings. Then, the aesthetic features are incorporated to enhance the style transfer process via a novel Aesthetic-aware Style-Attention (AesSA) module. Such an AesSA module enables our AesUST to efficiently and flexibly integrate the style patterns according to the global aesthetic channel distribution of the style image and the local semantic spatial distribution of the content image. Moreover, we also develop a new two-stage transfer training strategy with two aesthetic regularizations to train our model more effectively, further improving stylization performance. Extensive experiments and user studies demonstrate that our approach synthesizes aesthetically more harmonious and realistic results than state of the art, greatly narrowing the disparity with real artist-created paintings. Our code is available at https://github.com/EndyWon/AesUST.
updated: Sat Aug 27 2022 13:51:11 GMT+0000 (UTC)
published: Sat Aug 27 2022 13:51:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト