arXiv reaDer
VGFlow: 人間の休息のための可視性ガイド付きフロー ネットワーク
VGFlow: Visibility guided Flow Network for Human Reposing
人間の休息のタスクには、考えられる任意のポーズで立っている人のリアルなイメージを生成することが含まれます。知覚的に正確な画像を生成するには複数の困難があり、既存の方法は、テクスチャの保存、パターンの一貫性の維持、布の境界の尊重、オクルージョンの処理、スキン生成の操作などに制限があります。これらの困難は、人間のポーズの向きは大きく変化しやすく、衣類の性質は非常に硬くなく、体型の多様性は集団間で大きく異なります。これらの問題を軽減し、知覚的に正確な画像を合成するために、VGFlow を提案します。私たちのモデルは、可視性ガイド付きフロー モジュールを使用して、フローをターゲットの可視部分と不可視部分に解きほぐし、テクスチャの保存とスタイル操作を同時に行います。さらに、明確なボディ形状に取り組み、ネットワーク アーティファクトを回避するために、出力を改善するために、自己監視型のパッチごとの「リアルさ」の損失も組み込みます。 VGFlow は、さまざまな画質指標 (SSIM、LPIPS、FID) で定性的および定量的に観察される最先端の結果を達成します。
The task of human reposing involves generating a realistic image of a person standing in an arbitrary conceivable pose. There are multiple difficulties in generating perceptually accurate images, and existing methods suffer from limitations in preserving texture, maintaining pattern coherence, respecting cloth boundaries, handling occlusions, manipulating skin generation, etc. These difficulties are further exacerbated by the fact that the possible space of pose orientation for humans is large and variable, the nature of clothing items is highly non-rigid, and the diversity in body shape differs largely among the population. To alleviate these difficulties and synthesize perceptually accurate images, we propose VGFlow. Our model uses a visibility-guided flow module to disentangle the flow into visible and invisible parts of the target for simultaneous texture preservation and style manipulation. Furthermore, to tackle distinct body shapes and avoid network artifacts, we also incorporate a self-supervised patch-wise "realness" loss to improve the output. VGFlow achieves state-of-the-art results as observed qualitatively and quantitatively on different image quality metrics (SSIM, LPIPS, FID).
updated: Tue Mar 28 2023 10:57:05 GMT+0000 (UTC)
published: Sun Nov 13 2022 12:41:07 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト