テキストから画像への合成は、テキストの説明を条件とした自然な画像を生成することを目的としています。このタスクの主な難しさは、テキスト情報を画像合成プロセスに効果的に融合することにあります。既存の方法は通常、適切なテキスト情報を複数の分離された融合ブロックを使用して合成プロセスに適応的に融合します(たとえば、条件付きバッチ正規化とインスタンス正規化)。ただし、孤立した融合ブロックは互いに競合するだけでなく、トレーニングの難しさも増します(補足の最初のページを参照)。これらの問題に対処するために、すべての融合ブロックをリカレントニューラルネットワークに接続して長期依存性をモデル化する、生成的敵対的ネットワークのリカレントアフィン変換(RAT)を提案します。さらに、テキストと合成画像の間の意味的一貫性を改善するために、弁別器に空間的注意モデルを組み込みます。画像領域の一致を認識し、テキストの説明がジェネレータを監視して、より関連性の高い画像コンテンツを合成します。 CUB、Oxford-102、およびCOCOデータセットに関する広範な実験は、最先端のモデルと比較した場合の提案されたモデルの優位性を示していますhttps://github.com/senmaoy/Recurrent-Affine-Transformation-for-Text- to-image-Synthesis.git
Text-to-image synthesis aims to generate natural images conditioned on text descriptions. The main difficulty of this task lies in effectively fusing text information into the image synthesis process. Existing methods usually adaptively fuse suitable text information into the synthesis process with multiple isolated fusion blocks (e.g., Conditional Batch Normalization and Instance Normalization). However, isolated fusion blocks not only conflict with each other but also increase the difficulty of training (see first page of the supplementary). To address these issues, we propose a Recurrent Affine Transformation (RAT) for Generative Adversarial Networks that connects all the fusion blocks with a recurrent neural network to model their long-term dependency. Besides, to improve semantic consistency between texts and synthesized images, we incorporate a spatial attention model in the discriminator. Being aware of matching image regions, text descriptions supervise the generator to synthesize more relevant image contents. Extensive experiments on the CUB, Oxford-102 and COCO datasets demonstrate the superiority of the proposed model in comparison to state-of-the-art models https://github.com/senmaoy/Recurrent-Affine-Transformation-for-Text-to-image-Synthesis.git