社会的会話における人間の行動を予測するためのデフォルトのパラダイムは、トップダウンのアプローチによって特徴付けられます。これらには、低レベルの非言語的手がかりと関心のある将来の意味的イベント(例えば、ターンの変更、グループの離脱)との間の予測関係を特定することが含まれます。ただし、一般的なハードルは、教師あり学習用のラベル付きデータの可用性が限られていることです。この作業では、ドメイン内のボトムアップの自己監視アプローチの方向への第一歩を踏み出します。社会的合図予測のタスクを定式化して、ラベルのない低レベルの行動の手がかりを大量に活用し、関連するモデリングの課題を特徴付けます。これらに対処するために、メタ学習アプローチを採用し、社会的プロセス(SP)モデルを提案します。これは、神経プロセス(NP)ファミリー内の社会的に認識されたシーケンス間(Seq2Seq)モデルです。 SPモデルは、グループのすべてのメンバーの将来について共同で推論することにより、グローバルな不確実性を捉えながら、各参加者の非セマンティックな将来の手がかりの抽出可能な表現を学習します。合成された実世界の行動データの評価は、SPモデルがNPベースラインよりも高い対数尤度を達成することを示し、社会的人間の相互作用の領域内でそのような手法を適用するための重要な考慮事項も強調しています。
The default paradigm for the forecasting of human behavior in social conversations is characterized by top-down approaches. These involve identifying predictive relationships between low level nonverbal cues and future semantic events of interest (e.g. turn changes, group leaving). A common hurdle however, is the limited availability of labeled data for supervised learning. In this work, we take the first step in the direction of a bottom-up self-supervised approach in the domain. We formulate the task of Social Cue Forecasting to leverage the larger amount of unlabeled low-level behavior cues, and characterize the modeling challenges involved. To address these, we take a meta-learning approach and propose the Social Process (SP) models--socially aware sequence-to-sequence (Seq2Seq) models within the Neural Process (NP) family. SP models learn extractable representations of non-semantic future cues for each participant, while capturing global uncertainty by jointly reasoning about the future for all members of the group. Evaluation on synthesized and real-world behavior data shows that our SP models achieve higher log-likelihood than the NP baselines, and also highlights important considerations for applying such techniques within the domain of social human interactions.