arXiv reaDer
BATINet: 背景を認識したテキストから画像への合成および操作ネットワーク
BATINet: Background-Aware Text to Image Synthesis and Manipulation Network
Background-Induced Text2Image (BIT2I) は、指定された背景画像上のテキストに従って前景コンテンツを生成することを目的としています。ほとんどの研究は、高品質の前景コンテンツの生成に焦点を当てていますが、2 つのコンテンツ間の関係は無視されています。この研究では、生成されたコンテンツが入力背景と一致する新しい Background-Aware Text2Image (BAT2I) タスクを分析しました。我々は、位置検出ネットワーク (PDN) と調和ネットワーク (HN) という 2 つの主要なコンポーネントを含む、Background-Aware Text to Image Synthesis and Manipulation Network (BATINet) を提案しました。 PDN は、背景画像内のテキスト関連オブジェクトの最も妥当な位置を検出します。 HN は、背景スタイル情報を参照して、生成されたコンテンツを調和させます。最後に、より多くのユーザーの好みに適合するように、マルチ GAN とアテンション モジュールで構成される生成ネットワークを再構築しました。さらに、BATINet をテキストガイドによる画像操作に適用できます。これにより、オブジェクトの形状を操作するという最も困難なタスクが解決されます。私たちは、CUB データセットの定性的および定量的評価を通じて、提案されたモデルが他の最先端の方法よりも優れていることを実証しました。
Background-Induced Text2Image (BIT2I) aims to generate foreground content according to the text on the given background image. Most studies focus on generating high-quality foreground content, although they ignore the relationship between the two contents. In this study, we analyzed a novel Background-Aware Text2Image (BAT2I) task in which the generated content matches the input background. We proposed a Background-Aware Text to Image synthesis and manipulation Network (BATINet), which contains two key components: Position Detect Network (PDN) and Harmonize Network (HN). The PDN detects the most plausible position of the text-relevant object in the background image. The HN harmonizes the generated content referring to background style information. Finally, we reconstructed the generation network, which consists of the multi-GAN and attention module to match more user preferences. Moreover, we can apply BATINet to text-guided image manipulation. It solves the most challenging task of manipulating the shape of an object. We demonstrated through qualitative and quantitative evaluations on the CUB dataset that the proposed model outperforms other state-of-the-art methods.
updated: Fri Aug 11 2023 03:22:33 GMT+0000 (UTC)
published: Fri Aug 11 2023 03:22:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト