arXiv reaDer
顔の動きに基づくオプティカルフローのための自己監視アプローチ
Self-Supervised Approach for Facial Movement Based Optical Flow
オプティカルフローの計算は、コンピュータービジョンの基本的な問題です。ただし、ディープラーニングベースのオプティカルフロー手法は、主に顔の細かい動きを表すトレーニングデータが不足しているため、顔に見られるような非剛体の動きには適していません。顔の動きデータでオプティカルフローを学習すると、顔の予測フローの品質が向上すると仮定します。この作業の目的は3つあります。(1)顔画像のオプティカルフローグラウンドトゥルースを生成するための自己監視技術の調査。 (2)オプティカルフローを予測するための畳み込みニューラルネットワーク(CNN)をトレーニングするために顔データを使用する効果に関するベースライン結果を計算します。 (3)マイクロエクスプレッション認識で学習したオプティカルフローを使用して、その有効性を実証します。 BP4D-Spontaneousデータセットの顔のキーポイントを使用してオプティカルフローのグラウンドトゥルースを生成します。生成されたオプティカルフローは、FlowNetSアーキテクチャをトレーニングして、生成されたデータセットでのパフォーマンスをテストするために使用されます。顔画像でトレーニングされたFlowNetSのパフォーマンスは、他のオプティカルフローCNNアーキテクチャのパフォーマンスを上回り、その有用性を示しています。私たちのオプティカルフローの特徴は、STSTNetマイクロエクスプレッション分類器を使用する他の方法とさらに比較され、結果は、この作業を使用して得られたオプティカルフローが顔の表情分析に有望なアプリケーションを持っていることを示しています。
Computing optical flow is a fundamental problem in computer vision. However, deep learning-based optical flow techniques do not perform well for non-rigid movements such as those found in faces, primarily due to lack of the training data representing the fine facial motion. We hypothesize that learning optical flow on face motion data will improve the quality of predicted flow on faces. The aim of this work is threefold: (1) exploring self-supervised techniques to generate optical flow ground truth for face images; (2) computing baseline results on the effects of using face data to train Convolutional Neural Networks (CNN) for predicting optical flow; and (3) using the learned optical flow in micro-expression recognition to demonstrate its effectiveness. We generate optical flow ground truth using facial key-points in the BP4D-Spontaneous dataset. The generated optical flow is used to train the FlowNetS architecture to test its performance on the generated dataset. The performance of FlowNetS trained on face images surpassed that of other optical flow CNN architectures, demonstrating its usefulness. Our optical flow features are further compared with other methods using the STSTNet micro-expression classifier, and the results indicate that the optical flow obtained using this work has promising applications in facial expression analysis.
updated: Tue May 04 2021 02:38:11 GMT+0000 (UTC)
published: Tue May 04 2021 02:38:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト