arXiv reaDer
顔の表情合成のための局所受容野を学習するためのマスクされた線形回帰
Masked Linear Regression for Learning Local Receptive Fields for Facial Expression Synthesis
表情認識と比較して、表情合成には非常に高次元のマッピングが必要です。この問題は、画像サイズの増加とともに悪化し、既存の発現合成アプローチを比較的小さな画像に制限します。顔の表情は、ある表情から別の表情へのまばらに分布し、局所的に相関する変化を構成することがよくあります。この観察結果を活用することにより、式合成モデルのパラメーターの数を大幅に減らすことができます。したがって、顔の表情の局所的でまばらな構造を利用するリッジ回帰の制約付きバージョンを提案します。このモデルは、局所受容野を学習するためのマスクされた回帰と見なされます。既存のアプローチとは対照的に、提案されたモデルは、より大きな画像サイズで効率的にトレーニングできます。 3つの公開されているデータセットを使用した実験では、モデルがℓ_0、ℓ_1、ℓ_2回帰、SVDベースのアプローチ、平均二乗誤差、視覚的品質、計算および空間の複雑さの点でカーネル化された回帰よりも大幅に優れていることが示されています。パラメータの数を減らすことで、より小さなデータセットでトレーニングした後でも、メソッドをより一般化することができます。提案されたアルゴリズムは、Pix2Pix、CycleGAN、StarGAN、GANimationなどの最先端のGANとも比較されます。これらのGANは、テストとトレーニングの分布が類似している限り、写真のようにリアルな結果を生成します。対照的に、私たちの結果は、データセット外の人間の写真、鉛筆画、さらには動物の顔に対して、提案されたアルゴリズムの重要な一般化を示しています。
Compared to facial expression recognition, expression synthesis requires a very high-dimensional mapping. This problem exacerbates with increasing image sizes and limits existing expression synthesis approaches to relatively small images. We observe that facial expressions often constitute sparsely distributed and locally correlated changes from one expression to another. By exploiting this observation, the number of parameters in an expression synthesis model can be significantly reduced. Therefore, we propose a constrained version of ridge regression that exploits the local and sparse structure of facial expressions. We consider this model as masked regression for learning local receptive fields. In contrast to the existing approaches, our proposed model can be efficiently trained on larger image sizes. Experiments using three publicly available datasets demonstrate that our model is significantly better than ℓ_0, ℓ_1 and ℓ_2-regression, SVD based approaches, and kernelized regression in terms of mean-squared-error, visual quality as well as computational and spatial complexities. The reduction in the number of parameters allows our method to generalize better even after training on smaller datasets. The proposed algorithm is also compared with state-of-the-art GANs including Pix2Pix, CycleGAN, StarGAN and GANimation. These GANs produce photo-realistic results as long as the testing and the training distributions are similar. In contrast, our results demonstrate significant generalization of the proposed algorithm over out-of-dataset human photographs, pencil sketches and even animal faces.
updated: Wed Nov 18 2020 06:04:24 GMT+0000 (UTC)
published: Wed Nov 18 2020 06:04:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト