arXiv reaDer
DeepTMH:TelementalHealthの感情的および認知的関与を活用するマルチモーダル半教師ありフレームワーク
DeepTMH: Multimodal Semi-supervised framework leveraging Affective and Cognitive engagement for Telemental Health
既存のテレメンタルヘルスサービスを支援するために、心理学の文献で頻繁に使用される感情的および認知的特徴に対応する潜在ベクトルを抽出することによってテレメンタルヘルスセッションビデオをモデル化する新しいフレームワークであるDeepTMHを提案します。私たちのアプローチは、半教師あり学習の進歩を活用して、テレメンタルヘルスセッションのビデオドメインのデータ不足に取り組み、テレメンタルヘルスセッション中に重要なメンタルヘルス指標を検出するためのマルチモーダル半教師ありGANで構成されています。フレームワークの有用性と、エンゲージメント回帰と感情価-覚醒回帰という2つのタスクでの既存の作業との対比を示します。どちらも、テレメンタルヘルスセッション中に心理学者にとって重要です。私たちのフレームワークは、エンゲージメント回帰でSOTAメソッドよりもRMSEが40%向上し、感情価回帰でSOTAメソッドよりもRMSEが50%向上したことを報告しています。遠隔医療空間で公開されているデータセットの不足に対処するために、メンタルヘルス患者の関与を検出するための新しいデータセットMEDICAをリリースします。私たちのデータセットであるMEDICAは、それぞれ3秒の長さの1299本の動画で構成されています。私たちの知る限り、私たちのアプローチは、心理学主導の感情的および認知的特徴に基づいて遠隔メンタルヘルスセッションデータをモデル化する最初の方法であり、半教師あり設定を活用することによってデータの希薄性も説明します。
To aid existing telemental health services, we propose DeepTMH, a novel framework that models telemental health session videos by extracting latent vectors corresponding to Affective and Cognitive features frequently used in psychology literature. Our approach leverages advances in semi-supervised learning to tackle the data scarcity in the telemental health session video domain and consists of a multimodal semi-supervised GAN to detect important mental health indicators during telemental health sessions. We demonstrate the usefulness of our framework and contrast against existing works in two tasks: Engagement regression and Valence-Arousal regression, both of which are important to psychologists during a telemental health session. Our framework reports 40% improvement in RMSE over SOTA method in Engagement Regression and 50% improvement in RMSE over SOTA method in Valence-Arousal Regression. To tackle the scarcity of publicly available datasets in telemental health space, we release a new dataset, MEDICA, for mental health patient engagement detection. Our dataset, MEDICA consists of 1299 videos, each 3 seconds long. To the best of our knowledge, our approach is the first method to model telemental health session data based on psychology-driven Affective and Cognitive features, which also accounts for data sparsity by leveraging a semi-supervised setup.
updated: Fri Nov 26 2021 19:00:06 GMT+0000 (UTC)
published: Tue Nov 17 2020 15:18:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト