arXiv reaDer
マルチテール、マルチヘッド、空間動的メモリの洗練されたテキストから画像への合成
Multi-Tailed, Multi-Headed, Spatial Dynamic Memory refined Text-to-Image Synthesis
テキスト記述から高品質でリアルな画像を合成することは困難な作業であり、現在の方法では、テキストから画像を多段階で合成します。通常、最初に大まかな初期画像を生成し、その後の段階で画像の詳細を調整します。ただし、このパラダイムに従う既存の方法には、3つの重要な制限があります。まず、単語レベルで画像属性を分離しようとせずに、初期画像を合成します。その結果、初期画像のオブジェクト属性(その後の改良の基礎を提供する)は本質的に絡み合っており、本質的にあいまいです。第二に、すべての地域に共通のテキスト表現を使用することにより、現在の方法では、画像のさまざまな部分で基本的にさまざまな方法でテキストを解釈することができません。したがって、異なる画像領域は、各絞り込み段階でテキストから同じタイプの情報を同化することのみが許可されます。最後に、現在の方法では、各リファインメント段階で1回だけリファインメント機能が生成され、すべての画像の側面に1回のショットで対処しようとします。このシングルショットリファインメントは、各リファインメントステージが前の画像を改善するために学習できる精度を制限します。私たちの提案する方法は、これらの欠点に対処するために3つの新しいコンポーネントを導入します。(1)単語n-gramごとに個別の画像特徴のセットを明示的に生成する初期生成段階。 (2)画像を洗練するための空間動的メモリモジュール。 (3)複数の画像の側面を改善しやすくするための反復的なマルチヘッドメカニズム。実験結果は、マルチテールワードレベル初期生成(MSMT-GAN)を使用したマルチヘッド空間動的メモリ画像の改良が、CUBおよびCOCOデータセットの以前の最先端技術に対して良好に機能することを示しています。
Synthesizing high-quality, realistic images from text-descriptions is a challenging task, and current methods synthesize images from text in a multi-stage manner, typically by first generating a rough initial image and then refining image details at subsequent stages. However, existing methods that follow this paradigm suffer from three important limitations. Firstly, they synthesize initial images without attempting to separate image attributes at a word-level. As a result, object attributes of initial images (that provide a basis for subsequent refinement) are inherently entangled and ambiguous in nature. Secondly, by using common text-representations for all regions, current methods prevent us from interpreting text in fundamentally different ways at different parts of an image. Different image regions are therefore only allowed to assimilate the same type of information from text at each refinement stage. Finally, current methods generate refinement features only once at each refinement stage and attempt to address all image aspects in a single shot. This single-shot refinement limits the precision with which each refinement stage can learn to improve the prior image. Our proposed method introduces three novel components to address these shortcomings: (1) An initial generation stage that explicitly generates separate sets of image features for each word n-gram. (2) A spatial dynamic memory module for refinement of images. (3) An iterative multi-headed mechanism to make it easier to improve upon multiple image aspects. Experimental results demonstrate that our Multi-Headed Spatial Dynamic Memory image refinement with our Multi-Tailed Word-level Initial Generation (MSMT-GAN) performs favourably against the previous state of the art on the CUB and COCO datasets.
updated: Fri Oct 15 2021 15:16:58 GMT+0000 (UTC)
published: Fri Oct 15 2021 15:16:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト