顔の表情分析は、人間とコンピューターの対話のための重要なツールです。このペーパーでは、表情分析用のオープンソース ツールキットである LibreFace を紹介します。このオープンソース ツールボックスは、顔動作ユニット (AU) 検出、AU 強度推定、表情認識などの深層学習モデルを通じて、顔の動作をリアルタイムおよびオフラインで分析できます。これを達成するために、大規模な事前トレーニング済みネットワークの利用、機能ごとの知識の抽出、タスク固有の微調整など、いくつかの手法を採用しています。これらのアプローチは、視覚情報を活用して顔の表情を効果的かつ正確に分析するように設計されており、それによってリアルタイムのインタラクティブ アプリケーションの実装が容易になります。アクション ユニット (AU) 強度の推定に関しては、DISFA でピアソン相関係数 (PCC) 0.63 を達成しました。これは、OpenFace 2.0 の 2 倍高速に実行される高効率な推論を維持しながら、OpenFace 2.0 のパフォーマンスより 7% 高い値です。 。当社のモデルは、コンパクトであるにもかかわらず、AffecNet、FFHQ、および RAFDB 上の最先端の表情分析手法に匹敵するパフォーマンスを実証しています。コードは https://github.com/ihp-lab/LibreFace でリリースされます。
Facial expression analysis is an important tool for human-computer interaction. In this paper, we introduce LibreFace, an open-source toolkit for facial expression analysis. This open-source toolbox offers real-time and offline analysis of facial behavior through deep learning models, including facial action unit (AU) detection, AU intensity estimation, and facial expression recognition. To accomplish this, we employ several techniques, including the utilization of a large-scale pre-trained network, feature-wise knowledge distillation, and task-specific fine-tuning. These approaches are designed to effectively and accurately analyze facial expressions by leveraging visual information, thereby facilitating the implementation of real-time interactive applications. In terms of Action Unit (AU) intensity estimation, we achieve a Pearson Correlation Coefficient (PCC) of 0.63 on DISFA, which is 7% higher than the performance of OpenFace 2.0 while maintaining highly-efficient inference that runs two times faster than OpenFace 2.0. Despite being compact, our model also demonstrates competitive performance to state-of-the-art facial expression analysis methods on AffecNet, FFHQ, and RAFDB. Our code will be released at https://github.com/ihp-lab/LibreFace