ビデオベースの自動うつ病分析は、近年広く開発されている、高速で客観的で再現性のある自己評価ソリューションを提供します。うつ病の手がかりは、さまざまな時間スケールの人間の顔の行動に反映される可能性がありますが、ほとんどの既存のアプローチは、短期またはビデオレベルの顔の行動からうつ病をモデル化することに焦点を当てていました。この意味で、マルチスケールの短期およびビデオレベルの顔の行動からうつ病の重症度をモデル化する2段階のフレームワークを提案します。短期のうつ病行動モデリング段階では、最初に複数の短い時間スケールからうつ病関連の顔の行動の特徴を深く学習します。ここでは、すべての時間スケールのうつ病関連の手がかりを強化し、非うつ病を取り除くために、うつ病機能強化(DFE)モジュールが提案されます。ノイズ。次に、ビデオレベルの抑うつ行動モデリング段階では、ターゲットビデオのすべての短期的な特徴をビデオに再エンコードするために、2つの新しいグラフエンコード戦略、つまりシーケンシャルグラフ表現(SEG)とスペクトルグラフ表現(SPG)を提案します。うつ病関連のマルチスケールビデオレベルの時間情報を要約したレベルグラフ表現。その結果、生成されたグラフ表現は、短期および長期の両方の顔の行動パターンを使用して、うつ病の重症度を予測します。 AVEC2013およびAVEC2014データセットの実験結果は、提案されたDFEモジュールがさまざまなCNNモデルのうつ病重症度推定パフォーマンスを絶えず向上させ、SPGが他のビデオレベルのモデリング方法よりも優れていることを示しています。さらに重要なことに、提案された2段階フレームワークで達成された結果は、広く使用されている1段階モデリングアプローチと比較して、その有望で堅実なパフォーマンスを示しています。
Video-based automatic depression analysis provides a fast, objective and repeatable self-assessment solution, which has been widely developed in recent years. While depression clues may be reflected by human facial behaviours of various temporal scales, most existing approaches either focused on modelling depression from short-term or video-level facial behaviours. In this sense, we propose a two-stage framework that models depression severity from multi-scale short-term and video-level facial behaviours. The short-term depressive behaviour modelling stage first deep learns depression-related facial behavioural features from multiple short temporal scales, where a Depression Feature Enhancement (DFE) module is proposed to enhance the depression-related clues for all temporal scales and remove non-depression noises. Then, the video-level depressive behaviour modelling stage proposes two novel graph encoding strategies, i.e., Sequential Graph Representation (SEG) and Spectral Graph Representation (SPG), to re-encode all short-term features of the target video into a video-level graph representation, summarizing depression-related multi-scale video-level temporal information. As a result, the produced graph representations predict depression severity using both short-term and long-term facial beahviour patterns. The experimental results on AVEC 2013 and AVEC 2014 datasets show that the proposed DFE module constantly enhanced the depression severity estimation performance for various CNN models while the SPG is superior than other video-level modelling methods. More importantly, the result achieved for the proposed two-stage framework shows its promising and solid performance compared to widely-used one-stage modelling approaches.