最近のニューラルスタイル転送フレームワークは、シングルスタイル転送(SST)で驚くほどの視覚的な品質と柔軟性を得ていますが、複数のスタイルを同じ画像に同時に転送することを指すマルチスタイル転送(MST)にはほとんど注意が払われていません。 SSTと比較して、MSTには、より多様で視覚的に楽しいスタイル設定結果を作成できる可能性があります。この論文では、地域のセマンティクスに基づいて複数のスタイルを1つの結果に自動的に組み込む最初のMSTフレームワークを提案します。我々は最初のよりよい意味的な対応を実現し、より豊かなスタイルの詳細を維持するために新しいマルチレベルの機能融合モジュールとパッチ注意モジュールを導入することで、既存のSSTのバックボーンネットワークを向上させます。 MSTの場合、バックボーンに挿入するための概念的にシンプルでありながら効果的な領域ベースのスタイルの融合モジュールを設計しました。セマンティックマッチングに基づいて対応するスタイルをコンテンツ領域に割り当て、複数のスタイルをシームレスに結合します。包括的な評価は、私たちのフレームワークがSSTおよびMSTの既存の作品よりも優れていることを示しています。
Recent neural style transfer frameworks have obtained astonishing visual quality and flexibility in Single-style Transfer (SST), but little attention has been paid to Multi-style Transfer (MST) which refers to simultaneously transferring multiple styles to the same image. Compared to SST, MST has the potential to create more diverse and visually pleasing stylization results. In this paper, we propose the first MST framework to automatically incorporate multiple styles into one result based on regional semantics. We first improve the existing SST backbone network by introducing a novel multi-level feature fusion module and a patch attention module to achieve better semantic correspondences and preserve richer style details. For MST, we designed a conceptually simple yet effective region-based style fusion module to insert into the backbone. It assigns corresponding styles to content regions based on semantic matching, and then seamlessly combines multiple styles together. Comprehensive evaluations demonstrate that our framework outperforms existing works of SST and MST.