自動疼痛評価は、疼痛経験を明確に表現できない集団にとって重要な潜在的診断価値を持っています。痛みの表現イベントを引き出すための支配的な非言語チャネルの1つとして、個人の痛みの強さを推定するために顔の表情が広く調査されています。ただし、現実世界の痛み推定アプリケーションで最先端の深層学習(DL)モデルを使用すると、顔の表情の主観的な変動、操作上のキャプチャ条件、ラベル付きの代表的なトレーニングビデオの欠如に関連するいくつかの課題が生じます。すべてのビデオフレームの強度レベルに注釈を付けるコストを考えると、ラベルが定期的に提供される弱標識ビデオを使用した時空間痛強度推定のための3D CNNのトレーニングを可能にする、弱監視ドメイン適応(WSDA)手法を提案します。特に、WSDAは、複数のインスタンスラーニングを敵対的なディープドメイン適応フレームワークに統合し、Inflated 3D-CNN(I3D)モデルをトレーニングして、対象の運用ドメインの痛みの強度を正確に推定できるようにします。トレーニングプロセスは、I3Dモデルのドメイン適応のためのドメイン損失とソース損失に加えて、弱いターゲット損失に依存しています。ラベル付けされたソースドメインRECOLAビデオと弱いラベル付けされたターゲットドメインUNBC-McMasterビデオを使用して得られた実験結果は、提案されたディープWSDAアプローチが、関連するものよりも大幅に高いレベルのシーケンス(バッグ)レベルおよびフレーム(インスタンス)レベルの痛み局在化精度を達成できることを示しています最先端のアプローチ。
Automatic pain assessment has an important potential diagnostic value for populations that are incapable of articulating their pain experiences. As one of the dominating nonverbal channels for eliciting pain expression events, facial expressions has been widely investigated for estimating the pain intensity of individual. However, using state-of-the-art deep learning (DL) models in real-world pain estimation applications poses several challenges related to the subjective variations of facial expressions, operational capture conditions, and lack of representative training videos with labels. Given the cost of annotating intensity levels for every video frame, we propose a weakly-supervised domain adaptation (WSDA) technique that allows for training 3D CNNs for spatio-temporal pain intensity estimation using weakly labeled videos, where labels are provided on a periodic basis. In particular, WSDA integrates multiple instance learning into an adversarial deep domain adaptation framework to train an Inflated 3D-CNN (I3D) model such that it can accurately estimate pain intensities in the target operational domain. The training process relies on weak target loss, along with domain loss and source loss for domain adaptation of the I3D model. Experimental results obtained using labeled source domain RECOLA videos and weakly-labeled target domain UNBC-McMaster videos indicate that the proposed deep WSDA approach can achieve significantly higher level of sequence (bag)-level and frame (instance)-level pain localization accuracy than related state-of-the-art approaches.