arXiv reaDer
二項対面設定の相互作用ダイナミクスの確率モデル
A Probabilistic Model Of Interaction Dynamics for Dyadic Face-to-Face Settings
人間同士の自然な会話には、会話全体の重要な時間に表示される、非言語的なニュアンスのある表現が多数含まれることがよくあります。これらの複雑な相互作用を理解してモデル化できることは、仮想世界であろうと物理世界であろうと、現実的な人間とエージェントのコミュニケーションを作成するために不可欠です。ソーシャルロボットとインテリジェントアバターの人気と実用性が高まるにつれ、会話全体でこれらの動的な表現を現実的にモデル化して生成できることが重要になります。対面設定で参加者のペア間の相互作用のダイナミクスをキャプチャする確率モデルを開発し、対話者間の同期式のエンコードを可能にします。次に、この相互作用エンコーディングを使用して、一方のエージェントの現在のダイナミクスを条件として、一方のエージェントの将来のダイナミクスを予測するときに生成に影響を与えます。 FLAME機能は、インタラクションモデルをトレーニングするために、被験者間の自然な会話を含むビデオから抽出されます。提案されたモデルの有効性を定量的メトリックと定性的メトリックを介して正常に評価し、相互作用するダイアドのペアのダイナミクスを正常にキャプチャすることを示します。また、ダイアド間の2つの異なる通信モードで構成される、これまでにない親子データセットを使用してモデルをテストし、相互作用するダイナミクスに基づいて、モデルがモード間を正常に描写することを示します。
Natural conversations between humans often involve a large number of non-verbal nuanced expressions, displayed at key times throughout the conversation. Understanding and being able to model these complex interactions is essential for creating realistic human-agent communication, whether in the virtual or physical world. As social robots and intelligent avatars emerge in popularity and utility, being able to realistically model and generate these dynamic expressions throughout conversations is critical. We develop a probabilistic model to capture the interaction dynamics between pairs of participants in a face-to-face setting, allowing for the encoding of synchronous expressions between the interlocutors. This interaction encoding is then used to influence the generation when predicting one agent's future dynamics, conditioned on the other's current dynamics. FLAME features are extracted from videos containing natural conversations between subjects to train our interaction model. We successfully assess the efficacy of our proposed model via quantitative metrics and qualitative metrics, and show that it successfully captures the dynamics of a pair of interacting dyads. We also test the model with a never-before-seen parent-infant dataset comprising of two different modes of communication between the dyads, and show that our model successfully delineates between the modes, based on their interacting dynamics.
updated: Sun Jul 10 2022 23:31:27 GMT+0000 (UTC)
published: Sun Jul 10 2022 23:31:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト