arXiv reaDer
畳み込みニューラルネットワークとホモグラフィによるリアルタイムの表情絵文字マスキング
Real-Time Facial Expression Emoji Masking with Convolutional Neural Networks and Homography
ニューラルネットワークベースのアルゴリズムは、多くのアプリケーションで成功を収めています。画像処理では、畳み込みニューラルネットワーク(CNN)をトレーニングして、人間の顔の画像の表情を分類できます。この作品では、生徒の顔をそれぞれの感情の絵文字でマスクするシステムを作成します。私たちのシステムは、3つのビルディングブロックで構成されています。HistogramofGradients(HoG)とSupport Vector Machine(SVM)を使用した顔検出、FER2013データセットでトレーニングされたCNNを使用した表情の分類、そして最後にホモグラフィ推定によってそれぞれの絵文字を生徒の顔にマスキングします。 (デモ:https://youtu.be/GCjtXw1y8Pw)私たちの結果は、このパイプラインがリアルタイムでデプロイ可能であり、教育現場で使用できることを示しています。
Neural network based algorithms has shown success in many applications. In image processing, Convolutional Neural Networks (CNN) can be trained to categorize facial expressions of images of human faces. In this work, we create a system that masks a student's face with a emoji of the respective emotion. Our system consists of three building blocks: face detection using Histogram of Gradients (HoG) and Support Vector Machine (SVM), facial expression categorization using CNN trained on FER2013 dataset, and finally masking the respective emoji back onto the student's face via homography estimation. (Demo: https://youtu.be/GCjtXw1y8Pw) Our results show that this pipeline is deploy-able in real-time, and is usable in educational settings.
updated: Thu Dec 24 2020 21:25:48 GMT+0000 (UTC)
published: Thu Dec 24 2020 21:25:48 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト