arXiv reaDer
制御可能なポスター レイアウト生成のための関係を意識した拡散モデル
Relation-Aware Diffusion Model for Controllable Poster Layout Generation
ポスターのレイアウトはポスターデザインの重要な要素です。従来の方法は主に、ビジュアルコンテンツとグラフィック要素との間の相関関係に焦点を当てていた。ただし、快適なレイアウトでは、ビジュアルコンテンツとテキストコンテンツの関係、および要素間の関係も考慮する必要があります。この研究では、生成プロセスにこれら 2 つの関係を組み込む、ポスター レイアウト生成のための関係を意識した拡散モデルを導入します。まず、モダリティ全体で視覚表現とテキスト表現を調整する、視覚とテキストの関係を認識したモジュールを考案します。これにより、テキスト情報を伝えるレイアウトの有効性が高まります。次に、コンテキスト情報を総合的に考慮して要素間の幾何関係を学習する幾何関係認識モジュールを提案します。さらに、提案された方法は、ユーザーの制約に基づいて多様なレイアウトを生成できます。この分野の研究を進めるために、私たちは CGL-Dataset V2 という名前のポスター レイアウト データセットを構築しました。私たちが提案する手法は、CGL-Dataset V2 上の最先端の手法を上回ります。データとコードは https://github.com/liuan0803/RADM で入手できます。
Poster layout is a crucial aspect of poster design. Prior methods primarily focus on the correlation between visual content and graphic elements. However, a pleasant layout should also consider the relationship between visual and textual contents and the relationship between elements. In this study, we introduce a relation-aware diffusion model for poster layout generation that incorporates these two relationships in the generation process. Firstly, we devise a visual-textual relation-aware module that aligns the visual and textual representations across modalities, thereby enhancing the layout's efficacy in conveying textual information. Subsequently, we propose a geometry relation-aware module that learns the geometry relationship between elements by comprehensively considering contextual information. Additionally, the proposed method can generate diverse layouts based on user constraints. To advance research in this field, we have constructed a poster layout dataset named CGL-Dataset V2. Our proposed method outperforms state-of-the-art methods on CGL-Dataset V2. The data and code will be available at https://github.com/liuan0803/RADM.
updated: Thu Jun 15 2023 12:31:20 GMT+0000 (UTC)
published: Thu Jun 15 2023 12:31:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト