arXiv reaDer
テキストの感情に基づいて顔の表情を変える
Altering Facial Expression Based on Textual Emotion
顔とその表情は、デジタル画像の強力な主題の1つです。画像から感情を検出することは、コンピュータビジョンの分野における古代の仕事です。ただし、その逆を実行すること、つまり画像から顔の表情を合成することは、まったく新しいことです。異なる顔の表情で画像を再生成したり、画像内の既存の表情を変更したりするこのような操作には、生成的敵対的ネットワーク(GAN)が必要です。この論文では、GANを使用して画像の表情を変更することを目的としています。この場合、最初の表現(つまり、幸せ)を持つ入力画像が同じ人物の別の表現(つまり、うんざり)に変更されます。この目的を達成するために、MUGデータセットの修正バージョンでStarGAN手法を使用しました。さらに、与えられたテキストからの感情によって示される画像の顔の表情を改造することによって、作業をさらに拡張しました。その結果、テキストから感情を抽出するために長短期記憶(LSTM)メソッドを適用し、それを表現変更モジュールに転送しました。作業パイプラインのデモンストレーションとして、ユーザーのテキストの感情に基づいてさまざまな表現でプロフィール写真を再生成するブログのアプリケーションプロトタイプも作成します。
Faces and their expressions are one of the potent subjects for digital images. Detecting emotions from images is an ancient task in the field of computer vision; however, performing its reverse -- synthesizing facial expressions from images -- is quite new. Such operations of regenerating images with different facial expressions, or altering an existing expression in an image require the Generative Adversarial Network (GAN). In this paper, we aim to change the facial expression in an image using GAN, where the input image with an initial expression (i.e., happy) is altered to a different expression (i.e., disgusted) for the same person. We used StarGAN techniques on a modified version of the MUG dataset to accomplish this objective. Moreover, we extended our work further by remodeling facial expressions in an image indicated by the emotion from a given text. As a result, we applied a Long Short-Term Memory (LSTM) method to extract emotion from the text and forwarded it to our expression-altering module. As a demonstration of our working pipeline, we also create an application prototype of a blog that regenerates the profile picture with different expressions based on the user's textual emotion.
updated: Thu Dec 02 2021 17:52:25 GMT+0000 (UTC)
published: Thu Dec 02 2021 17:52:25 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト