arXiv reaDer
ジェネレーティブアーティザン:セマンティックを認識し、制御可能なCLIPstyler
Generative Artisan: A Semantic-Aware and Controllable CLIPstyler
現在の画像スタイルの転送方法のほとんどでは、ユーザーが特定のスタイルの画像を提供し、そのスタイリング機能とテクスチャを抽出して画像のスタイルを生成する必要があることを思い出してください。ただし、まだいくつかの問題があります。ユーザーには、参照スタイルの画像、または1つの画像だけで目的のスタイルを要約するのは難しい場合があります。最近提案されたCLIPstylerはこの問題を解決しました。これは、提供されたスタイル画像の説明のみに基づいてスタイル転送を実行できます。 CLIPstylerは、風景やポートレートが単独で表示される場合は優れたパフォーマンスを実現できますが、人と風景が共存すると、人をぼやけさせ、元のセマンティクスを失う可能性があります。これらの問題に基づいて、事前にトレーニングされたCLIPテキスト画像埋め込みモデルを使用し、FCNセマンティックセグメンテーションネットワークを介した画像スタイルの転送をガイドする新しいフレームワークを示します。具体的には、人物写真を使用して、セルフィーと現実世界の風景の両方のポートレートのオーバースタイリングの問題を解決し、ポートレートと風景のスタイル転送の効果のコントラストを高め、さまざまなセマンティック部分の画像スタイル転送の程度を完全に高めます制御可能。私たちのジェネレーティブアーティザンは、CLIPstylerの失敗事例を解決し、定性的および定量的方法の両方を生み出して、セルフィーと人間の被写体の写真を使用した現実世界の風景の両方でCLIPstylerよりもはるかに優れた結果をもたらすことを証明します。この改善により、グラフィックソフトウェアのレタッチなどのビジネスシナリオ向けのフレームワークを商品化することが可能になります。
Recall that most of the current image style transfer methods require the user to give an image of a particular style and then extract that styling feature and texture to generate the style of an image, but there are still some problems: the user may not have a reference style image, or it may be difficult to summarise the desired style in mind with just one image. The recently proposed CLIPstyler has solved this problem, which is able to perform style transfer based only on the provided description of the style image. Although CLIPstyler can achieve good performance when landscapes or portraits appear alone, it can blur the people and lose the original semantics when people and landscapes coexist. Based on these issues, we demonstrate a novel framework that uses a pre-trained CLIP text-image embedding model and guides image style transfer through an FCN semantic segmentation network. Specifically, we solve the portrait over-styling problem for both selfies and real-world landscape with human subjects photos, enhance the contrast between the effect of style transfer in portrait and landscape, and make the degree of image style transfer in different semantic parts fully controllable. Our Generative Artisan resolve the failure case of CLIPstyler and yield both qualitative and quantitative methods to prove ours have much better results than CLIPstyler in both selfies and real-world landscape with human subjects photos. This improvement makes it possible to commercialize our framework for business scenarios such as retouching graphics software.
updated: Sat Jul 23 2022 20:26:47 GMT+0000 (UTC)
published: Sat Jul 23 2022 20:26:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト