arXiv reaDer
PasteGAN: A Semi-Parametric Method to Generate Image from Scene Graph
 構造化された(シーングラフ)または自由形式の(文章)記述からの高品質な画像生成に関するいくつかのエキサイティングな進歩にもかかわらず、それらのほとんどは画像レベルの意味的一貫性、つまり記述の意味的意味に一致する生成された画像のみを保証します。すべてのオブジェクトの視覚的外観を細かく操作するなど、より制御可能な方法で画像を合成するための調査がまだ不足しています。したがって、好みのオブジェクトと豊富な相互作用を持つ画像を生成するために、シーングラフと画像クロップから画像を生成するセミパラメトリックメソッドPasteGANを提案します。この方法では、オブジェクトの空間配置とそのペアワイズ関係が定義されますシーングラフによって、オブジェクトの外観は指定されたオブジェクトのクロップによって決まります。出力内のオブジェクトの相互作用を強化するために、Crop Refining NetworkとObject-Image Fuserを設計して、オブジェクトとそれらの関係を1つのマップに埋め込みます。複数の損失が連携して機能し、生成された画像が作物を非常に尊重し、シーングラフに準拠しながら、優れた画像品質を保証します。作物が提供されない場合、シーングラフ内のオブジェクトの周りの相互作用をエンコードすることにより、外部オブジェクトタンクから最も互換性のある作物を選択する作物セレクタも提案されています。 Visual GenomeおよびCOCO-Stuffデータセットで評価され、提案された方法は、インセプションスコア、ダイバーシティスコア、およびフレシェインセプション距離でSOTAメソッドよりも大幅に優れています。広範な実験は、与えられたオブジェクトで複雑で多様な画像を生成する方法の能力を実証します。
Despite some exciting progress on high-quality image generation from structured(scene graphs) or free-form(sentences) descriptions, most of them only guarantee the image-level semantical consistency, i.e. the generated image matching the semantic meaning of the description. They still lack the investigations on synthesizing the images in a more controllable way, like finely manipulating the visual appearance of every object. Therefore, to generate the images with preferred objects and rich interactions, we propose a semi-parametric method, PasteGAN, for generating the image from the scene graph and the image crops, where spatial arrangements of the objects and their pair-wise relationships are defined by the scene graph and the object appearances are determined by the given object crops. To enhance the interactions of the objects in the output, we design a Crop Refining Network and an Object-Image Fuser to embed the objects as well as their relationships into one map. Multiple losses work collaboratively to guarantee the generated images highly respecting the crops and complying with the scene graphs while maintaining excellent image quality. A crop selector is also proposed to pick the most-compatible crops from our external object tank by encoding the interactions around the objects in the scene graph if the crops are not provided. Evaluated on Visual Genome and COCO-Stuff dataset, our proposed method significantly outperforms the SOTA methods on Inception Score, Diversity Score and Fréchet Inception Distance. Extensive experiments also demonstrate our method's ability to generate complex and diverse images with given objects.
updated: Thu Nov 28 2019 03:19:19 GMT+0000 (UTC)
published: Sun May 05 2019 05:16:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト