arXiv reaDer
一貫したスタイル転送
Consistent Style Transfer
最近、細粒度の結果を達成するために、注意を払う任意のスタイル転送方法が提案されました。これは、スタイル化のためにコンテンツとスタイル機能の間のポイントごとの類似性を操作します。ただし、特徴点に基づく注意メカニズムは、特徴の複数多様体分布を無視します。この場合、各特徴多様体は画像内の意味領域に対応します。その結果、均一なコンテンツのセマンティック領域は、さまざまなスタイルのセマンティック領域とは大きく異なるパターンでレンダリングされ、視覚的なアーティファクトを伴う一貫性のないスタイル化結果が生成されます。この問題を軽減するために、プログレッシブアテンションマニフォールドアラインメント(PAMA)を提案しました。これは、アテンション操作とスペースアウェア補間を繰り返し適用します。アテンション操作は、コンテンツ機能の空間分布に従ってスタイル機能を動的に再配置します。これにより、コンテンツとスタイルの多様体がフィーチャマップ上で対応するようになります。次に、スペースアウェア補間は、対応するコンテンツとスタイルの多様体の間を適応的に補間して、それらの類似性を高めます。コンテンツマニフォールドをスタイルマニフォールドに徐々に調整することにより、提案されたPAMAは、セマンティック領域の不整合を回避しながら、最先端のパフォーマンスを実現します。コードはhttps://github.com/computer-vision2022/PAMAで入手できます。
Recently, attentional arbitrary style transfer methods have been proposed to achieve fine-grained results, which manipulates the point-wise similarity between content and style features for stylization. However, the attention mechanism based on feature points ignores the feature multi-manifold distribution, where each feature manifold corresponds to a semantic region in the image. Consequently, a uniform content semantic region is rendered by highly different patterns from various style semantic regions, producing inconsistent stylization results with visual artifacts. We proposed the progressive attentional manifold alignment (PAMA) to alleviate this problem, which repeatedly applies attention operations and space-aware interpolations. The attention operation rearranges style features dynamically according to the spatial distribution of content features. This makes the content and style manifolds correspond on the feature map. Then the space-aware interpolation adaptively interpolates between the corresponding content and style manifolds to increase their similarity. By gradually aligning the content manifolds to style manifolds, the proposed PAMA achieves state-of-the-art performance while avoiding the inconsistency of semantic regions. Codes are available at https://github.com/computer-vision2022/PAMA.
updated: Thu Jan 06 2022 20:19:35 GMT+0000 (UTC)
published: Thu Jan 06 2022 20:19:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト