arXiv reaDer
スタイル付きポーズ:条件付きStyleGANを使用した詳細保存ポーズガイド画像合成
Pose with Style: Detail-Preserving Pose-Guided Image Synthesis with Conditional StyleGAN
任意のポーズで単一の画像から人物を再レンダリングするためのアルゴリズムを提示します。既存の方法では、ソース画像のアイデンティティと細部を維持しながら、遮られたコンテンツを写真的にリアルに幻覚化することが難しいことがよくあります。まず、人体の対称性を使用して、体表面のテクスチャとソース画像の間の対応フィールドをペイントする方法を学びます。塗りつぶされた対応フィールドを使用すると、ポーズが大幅に変更された場合でも、ソースから抽出されたローカル特徴をターゲットビューに転送/ワープできます。単純なCNNデコーダーを使用してワープしたローカルフィーチャをRGB画像に直接マッピングすると、多くの場合、目に見えるアーティファクトが発生します。したがって、StyleGANジェネレーターを拡張して、ポーズを入力として受け取り(ポーズを制御するため)、ワープされたローカルフィーチャを使用して(外観を制御するために)潜在空間に空間的に変化する変調を導入します。我々の方法は、定量的評価と視覚的比較の両方において、最先端のアルゴリズムと比べて遜色がないことを示しています。
We present an algorithm for re-rendering a person from a single image under arbitrary poses. Existing methods often have difficulties in hallucinating occluded contents photo-realistically while preserving the identity and fine details in the source image. We first learn to inpaint the correspondence field between the body surface texture and the source image with a human body symmetry prior. The inpainted correspondence field allows us to transfer/warp local features extracted from the source to the target view even under large pose changes. Directly mapping the warped local features to an RGB image using a simple CNN decoder often leads to visible artifacts. Thus, we extend the StyleGAN generator so that it takes pose as input (for controlling poses) and introduces a spatially varying modulation for the latent space using the warped local features (for controlling appearances). We show that our method compares favorably against the state-of-the-art algorithms in both quantitative evaluation and visual comparison.
updated: Mon Sep 13 2021 17:59:33 GMT+0000 (UTC)
published: Mon Sep 13 2021 17:59:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト