フェイシャルアクションユニット(AU)は、人間の感情分析に不可欠な役割を果たします。 AUベースの高レベルの感情分析は実際のアプリケーションで緊急に必要とされていますが、以前の作業で提供されたフレームレベルのAUの結果をそのような分析に直接使用することはできません。さらに、AUは動的なプロセスであるため、グローバルな時間情報の利用は重要ですが、文献では無視されてきました。この目的のために、AUイベント検出を複数のクラス固有のセット予測問題と見なすことにより、ビデオシーケンスからAUイベントを直接検出する最初の作業であるAUイベント検出用のEventFormerを提案します。一般的に使用されるAUベンチマークデータセットであるBP4Dで実施された広範な実験は、適切なメトリックの下でのEventFormerの優位性を示しています。
Facial action units (AUs) play an indispensable role in human emotion analysis. We observe that although AU-based high-level emotion analysis is urgently needed by real-world applications, frame-level AU results provided by previous works cannot be directly used for such analysis. Moreover, as AUs are dynamic processes, the utilization of global temporal information is important but has been gravely ignored in the literature. To this end, we propose EventFormer for AU event detection, which is the first work directly detecting AU events from a video sequence by viewing AU event detection as a multiple class-specific sets prediction problem. Extensive experiments conducted on a commonly used AU benchmark dataset, BP4D, show the superiority of EventFormer under suitable metrics.