arXiv reaDer
スタイルを維持する顔のポーズ編集のためのピクセルサンプリング
Pixel Sampling for Style Preserving Face Pose Editing
既存のオートエンコーダベースの顔ポーズ編集方法は、主にポーズ合成中のアイデンティティ保存能力のモデリングに焦点を当てていますが、色、明るさ、彩度などを参照する画像スタイルを適切に保存することはできません。よく知られている正面/プロファイルの光学的錯覚を利用し、顔のポーズ操作のタスクが顔の修復にキャストされる、前述のジレンマを解決するための新しい2段階のアプローチを提示します。提案された「PixelAttentionSampling」モジュールを使用して、入力面からピクセルを選択的にサンプリングし、それらの相対位置をわずかに調整することにより、面編集結果は、アイデンティティ情報と画像スタイルを変更せずに忠実に維持します。修復段階では、より細かいディテールが生成されます。さらに、3D顔のランドマークをガイダンスとして使用することで、ヨー、ピッチ、ロールの3つの自由度で顔のポーズを操作できるため、単なる顔ポーズの編集よりも柔軟になります。現在の最先端技術によって通常達成されるようにヨー角を制御します。定性的評価と定量的評価の両方で、提案されたアプローチの優位性が検証されます。
The existing auto-encoder based face pose editing methods primarily focus on modeling the identity preserving ability during pose synthesis, but are less able to preserve the image style properly, which refers to the color, brightness, saturation, etc. In this paper, we take advantage of the well-known frontal/profile optical illusion and present a novel two-stage approach to solve the aforementioned dilemma, where the task of face pose manipulation is cast into face inpainting. By selectively sampling pixels from the input face and slightly adjust their relative locations with the proposed ``Pixel Attention Sampling" module, the face editing result faithfully keeps the identity information as well as the image style unchanged. By leveraging high-dimensional embedding at the inpainting stage, finer details are generated. Further, with the 3D facial landmarks as guidance, our method is able to manipulate face pose in three degrees of freedom, i.e., yaw, pitch, and roll, resulting in more flexible face pose editing than merely controlling the yaw angle as usually achieved by the current state-of-the-art. Both the qualitative and quantitative evaluations validate the superiority of the proposed approach.
updated: Mon Jun 14 2021 11:29:29 GMT+0000 (UTC)
published: Mon Jun 14 2021 11:29:29 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト