arXiv reaDer
GLocal:人物画像生成のためのグローバルグラフ推論とローカル構造転送
GLocal: Global Graph Reasoning and Local Structure Transfer for Person Image Generation
本論文では、人物画像の生成、すなわち、破損したテクスチャや異なるポーズなどのさまざまな条件下での人物画像の生成に焦点を当てます。このタスクでテクスチャのオクルージョンと大きなポーズのずれに対処するために、以前の作品では、対応する領域のスタイルを使用してオクルージョンされた領域を推測し、ポイントごとの位置合わせに依存してコンテキストテクスチャ情報を再編成し、領域ごとのスタイルをグローバルに相関させる機能を欠いています。コードを作成し、ソースのローカル構造を保持します。これらの問題に取り組むために、異なるセマンティック領域間のスタイルの相互相関をグローバルに推論することにより、オクルージョンを意識したテクスチャ推定を改善するGLocalフレームワークを提示します。これは、テクスチャ修復で破損した画像を復元するためにも使用できます。局所構造情報を保存するために、ソース画像の局所構造をさらに抽出し、局所構造転送を介して生成された画像に復元します。 DeepFashionデータセットでのパフォーマンスを完全に特徴付けるためにメソッドのベンチマークを行い、メソッドの新規性を強調する広範なアブレーション研究を提示します。
In this paper, we focus on person image generation, namely, generating person image under various conditions, e.g., corrupted texture or different pose. To address texture occlusion and large pose misalignment in this task, previous works just use the corresponding region's style to infer the occluded area and rely on point-wise alignment to reorganize the context texture information, lacking the ability to globally correlate the region-wise style codes and preserve the local structure of the source. To tackle these problems, we present a GLocal framework to improve the occlusion-aware texture estimation by globally reasoning the style inter-correlations among different semantic regions, which can also be employed to recover the corrupted images in texture inpainting. For local structural information preservation, we further extract the local structure of the source image and regain it in the generated image via local structure transfer. We benchmark our method to fully characterize its performance on DeepFashion dataset and present extensive ablation studies that highlight the novelty of our method.
updated: Wed Dec 01 2021 03:54:30 GMT+0000 (UTC)
published: Wed Dec 01 2021 03:54:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト