arXiv reaDer
Scene Graph to Image Generation with Contextualized Object Layout Refinement
シーングラフから画像を生成することは、最近大きな関心を集めている挑戦的なタスクです。以前の作品は、ターゲット画像の中間レイアウト記述を生成することによってこのタスクに取り組んできました。ただし、レイアウト内の各オブジェクトの表現は個別に生成されたため、オーバーラップが大きく、カバレッジが低く、全体的にぼやけたレイアウトになりました。オブジェクト間の依存関係を改善するためにレイアウト記述全体を徐々に生成することにより、これらの問題を軽減する新しい方法を提案します。 COCO-STUFFデータセットで、私たちのアプローチが中間レイアウトと最終画像の両方の品質を向上させることを経験的に示しています。私たちのアプローチは、レイアウトのカバレッジをほぼ20ポイント改善し、オブジェクトの重なりを無視できる量に落とします。
Generating images from scene graphs is a challenging task that attracted substantial interest recently. Prior works have approached this task by generating an intermediate layout description of the target image. However, the representation of each object in the layout was generated independently, which resulted in high overlap, low coverage, and an overall blurry layout. We propose a novel method that alleviates these issues by generating the entire layout description gradually to improve inter-object dependency. We empirically show on the COCO-STUFF dataset that our approach improves the quality of both the intermediate layout and the final image. Our approach improves the layout coverage by almost 20 points and drops object overlap to negligible amounts.
updated: Sat Jul 17 2021 15:07:14 GMT+0000 (UTC)
published: Wed Sep 23 2020 06:27:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト