arXiv reaDer
Any-to-Any スタイル転送
Any-to-Any Style Transfer
スタイル転送は、スタイル参照用の特定の画像のスタイルを、コンテンツ参照用の別の特定の画像にレンダリングすることを目的としており、芸術的生成および画像編集で広く採用されています。既存のアプローチでは、スタイル イメージの全体的なスタイルをグローバルな方法で適用するか、スタイル イメージのローカルな色とテクスチャを事前定義された方法で対応するコンテンツに移行します。いずれの場合も、コンテンツとスタイル イメージの特定のペアに対して 1 つの結果しか生成できないため、柔軟性に欠け、好みの異なるさまざまなユーザーを満足させることは困難です。ここでは、この欠点に対処するために Any-to-Any Style Transfer と呼ばれる新しい戦略を提案します。これにより、ユーザーはスタイル イメージ内の領域のスタイルを対話的に選択し、規定のコンテンツ領域に適用できます。このようにして、人間とコンピューターの対話を通じて、パーソナライズ可能なスタイルの転送が実現されます。私たちのアプローチの中心にあるのは、(1) Segment Anything に基づく領域セグメンテーション モジュールです。これは、数回クリックするか、画像を描画するだけで領域選択をサポートし、ユーザー入力を便利かつ柔軟に受け取ります。 (2) ユーザーからの入力をスタイル転送モデルの制御信号に変換するアテンション フュージョン モジュール。実験は、パーソナライズ可能なスタイル転送の有効性を示しています。特に、私たちのアプローチは、あらゆるスタイルの転送方法に移植可能なプラグアンドプレイ方式で実行され、制御性が向上します。私たちのコードは https://github.com/Huage001/Transfer-Any-Stylehere から入手できます。
Style transfer aims to render the style of a given image for style reference to another given image for content reference, and has been widely adopted in artistic generation and image editing. Existing approaches either apply the holistic style of the style image in a global manner, or migrate local colors and textures of the style image to the content counterparts in a pre-defined way. In either case, only one result can be generated for a specific pair of content and style images, which therefore lacks flexibility and is hard to satisfy different users with different preferences. We propose here a novel strategy termed Any-to-Any Style Transfer to address this drawback, which enables users to interactively select styles of regions in the style image and apply them to the prescribed content regions. In this way, personalizable style transfer is achieved through human-computer interaction. At the heart of our approach lies in (1) a region segmentation module based on Segment Anything, which supports region selection with only some clicks or drawing on images and thus takes user inputs conveniently and flexibly; (2) and an attention fusion module, which converts inputs from users to controlling signals for the style transfer model. Experiments demonstrate their effectiveness for personalizable style transfer. Notably, our approach performs in a plug-and-play manner portable to any style transfer method and enhance the controllablity. Our code is available https://github.com/Huage001/Transfer-Any-Stylehere.
updated: Wed Apr 19 2023 15:15:36 GMT+0000 (UTC)
published: Wed Apr 19 2023 15:15:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト