CLIPStyler は、(参照スタイル画像を必要とする代わりに) スタイル テキストの説明のみを使用して、リアルなテクスチャで画像スタイルの転送を示しました。ただし、スタイル転送出力のオブジェクトのグラウンド セマンティクスは、顕著なオブジェクトと背景オブジェクトへのスタイルのスピルオーバー (コンテンツの不一致) または過剰なスタイル化により失われます。これを解決するために、セマンティック スタイル トランスファーを行う Semantic CLIPStyler (Sem-CS) を提案します。 Sem-CS は、最初にコンテンツ イメージを顕著なオブジェクトとそうでないオブジェクトに分割し、次に、指定されたスタイル テキストの説明に基づいて芸術的なスタイルを転送します。セマンティック スタイルの転送は、グローバルなフォアグラウンド ロス (顕著なオブジェクトの場合) とグローバルなバックグラウンド ロス (非顕著なオブジェクトの場合) を使用して実現されます。 DISTS、NIMA、ユーザー調査スコアなどの経験的結果は、提案されたフレームワークが優れた質的および量的パフォーマンスをもたらすことを示しています。
CLIPStyler demonstrated image style transfer with realistic textures using only the style text description (instead of requiring a reference style image). However, the ground semantics of objects in style transfer output is lost due to style spillover on salient and background objects (content mismatch) or over-stylization. To solve this, we propose Semantic CLIPStyler (Sem-CS) that performs semantic style transfer. Sem-CS first segments the content image into salient and non-salient objects and then transfers artistic style based on a given style text description. The semantic style transfer is achieved using global foreground loss (for salient objects) and global background loss (for non-salient objects). Our empirical results, including DISTS, NIMA and user study scores, show that our proposed framework yields superior qualitative and quantitative performance.