arXiv reaDer
ICface:GANを使用した解釈可能で制御可能な顔の再現
ICface: Interpretable and Controllable Face Reenactment Using GANs
 このホワイトペーパーでは、特定の顔画像のポーズと表情を制御できる汎用顔アニメーターを紹介します。アニメーションは、人間の解釈可能な制御信号によって駆動され、ヘッドポーズ角度とアクションユニット(AU)値で構成されます。制御情報は、外部運転ビデオや手動制御を含む複数のソースから取得できます。駆動信号の解釈可能な性質により、複数のソース間で情報を簡単に混合し(たとえば、ある画像のポーズと別の画像の表情)、選択的なポストプロダクション編集を適用できます。提案された顔アニメーターは、大規模なビデオコレクションを使用して自己監視方式で学習される2段階のニューラルネットワークモデルとして実装されます。提案された解釈可能および制御可能な顔の再現ネットワーク(ICface)は、複数のタスクにおける最先端のニューラルネットワークベースの顔アニメーション技術と比較されます。結果は、ICfaceが視覚的品質を向上させ、ほとんどの比較方法よりも汎用性が高いことを示しています。導入されたモデルは、多数の高度な画像およびビデオ編集タスクのための軽量で使いやすいツールを提供できます。
This paper presents a generic face animator that is able to control the pose and expressions of a given face image. The animation is driven by human interpretable control signals consisting of head pose angles and the Action Unit (AU) values. The control information can be obtained from multiple sources including external driving videos and manual controls. Due to the interpretable nature of the driving signal, one can easily mix the information between multiple sources (e.g. pose from one image and expression from another) and apply selective post-production editing. The proposed face animator is implemented as a two-stage neural network model that is learned in a self-supervised manner using a large video collection. The proposed Interpretable and Controllable face reenactment network (ICface) is compared to the state-of-the-art neural network-based face animation techniques in multiple tasks. The results indicate that ICface produces better visual quality while being more versatile than most of the comparison methods. The introduced model could provide a lightweight and easy to use tool for a multitude of advanced image and video editing tasks.
updated: Fri Jan 17 2020 14:30:59 GMT+0000 (UTC)
published: Wed Apr 03 2019 10:49:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト