任意の画像誘導スタイル転送方法の印象的な結果にもかかわらず、ユーザーが提供するターゲットスタイルのテキスト記述に従って、自然画像を定型化された画像に転送するためのテキスト駆動型画像定型化が最近提案されました。以前の画像から画像への転送アプローチとは異なり、テキスト ガイドによるスタイル設定の進行により、ユーザーは目的のスタイルをより正確かつ直感的に表現できます。ただし、クロスモーダル入力/出力間の大きな不一致により、典型的なフィードフォワード CNN パイプラインでテキスト駆動型の画像様式化を行うことが困難になります。この論文では、拡散モデルに基づく DiffStyler を紹介します。クロスモーダル スタイルの情報は、普及が段階的に進行する際のガイダンスとして簡単に統合できます。特に、デュアル拡散処理アーキテクチャを使用して、拡散結果のコンテンツとスタイルのバランスを制御します。さらに、逆ノイズ除去プロセスが基づくコンテンツ画像ベースの学習可能なノイズを提案し、スタイライゼーション結果がコンテンツ画像の構造情報をより適切に保存できるようにします。広範な定性的および定量的実験を通じて、ベースライン メソッドを超えて提案された DiffStyler を検証します。
Despite the impressive results of arbitrary image-guided style transfer methods, text-driven image stylization has recently been proposed for transferring a natural image into the stylized one according to textual descriptions of the target style provided by the user. Unlike previous image-to-image transfer approaches, text-guided stylization progress provides users with a more precise and intuitive way to express the desired style. However, the huge discrepancy between cross-modal inputs/outputs makes it challenging to conduct text-driven image stylization in a typical feed-forward CNN pipeline. In this paper, we present DiffStyler on the basis of diffusion models. The cross-modal style information can be easily integrated as guidance during the diffusion progress step-by-step. In particular, we use a dual diffusion processing architecture to control the balance between the content and style of the diffused results. Furthermore, we propose a content image-based learnable noise on which the reverse denoising process is based, enabling the stylization results to better preserve the structure information of the content image. We validate the proposed DiffStyler beyond the baseline methods through extensive qualitative and quantitative experiments.