ニューラルネットワークベースのアルゴリズムは、多くのアプリケーションで成功を収めています。画像処理では、畳み込みニューラルネットワーク(CNN)をトレーニングして、人間の顔の画像の表情を分類できます。この作品では、生徒の顔をそれぞれの感情の絵文字でマスクするシステムを作成します。私たちのシステムは、3つのビルディングブロックで構成されています。HistogramofGradients(HoG)とSupport Vector Machine(SVM)を使用した顔検出、FER2013データセットでトレーニングされたCNNを使用した表情の分類、そして最後にホモグラフィ推定によってそれぞれの絵文字を生徒の顔にマスキングします。 (デモ:https://youtu.be/GCjtXw1y8Pw)私たちの結果は、このパイプラインがリアルタイムでデプロイ可能であり、教育現場で使用できることを示しています。
Neural network based algorithms has shown success in many applications. In image processing, Convolutional Neural Networks (CNN) can be trained to categorize facial expressions of images of human faces. In this work, we create a system that masks a student's face with a emoji of the respective emotion. Our system consists of three building blocks: face detection using Histogram of Gradients (HoG) and Support Vector Machine (SVM), facial expression categorization using CNN trained on FER2013 dataset, and finally masking the respective emoji back onto the student's face via homography estimation. (Demo: https://youtu.be/GCjtXw1y8Pw) Our results show that this pipeline is deploy-able in real-time, and is usable in educational settings.