アーティスティックスタイル転送は、コンテンツを保持しながら、ある画像のスタイル特性を別の画像に転送することを目的としています。既存のアプローチは一般にさまざまな正規化手法を活用しますが、これらはさまざまなテクスチャをさまざまな空間位置に適切に転送する際に制限に直面します。自己注意ベースのアプローチは、部分的な成功でこの問題に取り組んできましたが、望ましくないアーティファクトに苦しんでいます。これらの観察に動機付けられて、この論文は、自己注意と正規化の両方の長所を組み合わせることを目的としています。これにより、Self-Attentive Factorized Instance Normalization(SAFIN)という名前の新しいプラグアンドプレイモジュールが生成されます。 SAFINは本質的に空間適応型の正規化モジュールであり、そのパラメーターはコンテンツとスタイルイメージへの注意から推測されます。 SAFINを別の最先端の方法のベースネットワークに接続すると、スタイルが強化されることを示します。また、マルチスケールスタイル転送用のウェーブレット変換で構成される新しいベースネットワークを開発します。これをSAFINと組み合わせると、不要なテクスチャが少なく、視覚的に魅力的な結果が得られます。
Artistic style transfer aims to transfer the style characteristics of one image onto another image while retaining its content. Existing approaches commonly leverage various normalization techniques, although these face limitations in adequately transferring diverse textures to different spatial locations. Self-Attention-based approaches have tackled this issue with partial success but suffer from unwanted artifacts. Motivated by these observations, this paper aims to combine the best of both worlds: self-attention and normalization. That yields a new plug-and-play module that we name Self-Attentive Factorized Instance Normalization (SAFIN). SAFIN is essentially a spatially adaptive normalization module whose parameters are inferred through attention on the content and style image. We demonstrate that plugging SAFIN into the base network of another state-of-the-art method results in enhanced stylization. We also develop a novel base network composed of Wavelet Transform for multi-scale style transfer, which when combined with SAFIN, produces visually appealing results with lesser unwanted textures.