arXiv reaDer
StyleGANを使用した顔のアクションユニットの知覚的に検証された正確なローカル編集
Perceptually Validated Precise Local Editing for Facial Action Units with StyleGAN
顔の表情を編集する機能は、コンピュータグラフィックスで幅広い用途があります。理想的な表情編集アルゴリズムは、2つの重要な基準を満たす必要があります。まず、個々の顔の動きを正確かつ的を絞って編集できるようにする必要があります。次に、アーティファクトのない忠実度の高い出力を生成する必要があります。顔のセマンティック操作に広く使用されているStyleGANに基づいたソリューションを構築します。そうすることで、さまざまなセマンティック属性がStyleGANでどのようにエンコードされるかについての理解が深まります。特に、潜在空間で編集を実行するための素朴な戦略は、たとえそれらが概念的に異なっていても、特定のアクションユニット間の望ましくない結合をもたらすことを示します。たとえば、眉を下げる人と唇を引き締める人は別個のアクションユニットですが、トレーニングデータでは相関しているように見えます。したがって、StyleGANはそれらを解きほぐすのが困難です。各アクションユニットの影響の分離した領域を計算することにより、そのようなアクションユニットのもつれを解いた編集を許可し、編集をこれらの領域に制限します。 23人の被験者を対象に実施された知覚実験を通じて、ローカル編集方法の有効性を検証します。結果は、私たちの方法がローカル編集に対するより高度な制御を提供し、最先端の方法と比較して優れた忠実度で画像を生成することを示しています。
The ability to edit facial expressions has a wide range of applications in computer graphics. The ideal facial expression editing algorithm needs to satisfy two important criteria. First, it should allow precise and targeted editing of individual facial actions. Second, it should generate high fidelity outputs without artifacts. We build a solution based on StyleGAN, which has been used extensively for semantic manipulation of faces. As we do so, we add to our understanding of how various semantic attributes are encoded in StyleGAN. In particular, we show that a naive strategy to perform editing in the latent space results in undesired coupling between certain action units, even if they are conceptually distinct. For example, although brow lowerer and lip tightener are distinct action units, they appear correlated in the training data. Hence, StyleGAN has difficulty in disentangling them. We allow disentangled editing of such action units by computing detached regions of influence for each action unit, and restrict editing to these regions. We validate the effectiveness of our local editing method through perception experiments conducted with 23 subjects. The results show that our method provides higher control over local editing and produces images with superior fidelity compared to the state-of-the-art methods.
updated: Mon Jul 26 2021 12:21:37 GMT+0000 (UTC)
published: Mon Jul 26 2021 12:21:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト