人間間の相互作用は多様であり、文脈に依存しますが、以前の研究では、可能性のある相互作用の重い尾を無視して、それらをカテゴリとして扱ってきました。人間と人間の相互作用を単一の静止画像から自由なテキストとして学習する新しいパラダイムを提案し、状況の無限の空間と人々の間の関係を柔軟にモデル化できるようにします。このタスク専用にラベル付けされたデータがないことを克服するために、明示的な監督なしで大規模な言語モデルによって生成された合成キャプション データに適用される知識蒸留を使用します。この手順によって生成された疑似ラベルを使用してキャプション モデルをトレーニングし、画像内の人間と人間の相互作用を効果的に理解できることを示します。これは、予測のテキストおよびセマンティックの忠実度と事実に基づいた根拠を測定するさまざまなメトリックによって測定されます。さらに、私たちのアプローチが、このタスクで SOTA 画像キャプションおよび状況認識モデルよりも優れていることを示します。私たちはコードと疑似ラベルを Waldo と Wenda とともにリリースします。これは、静止画像の人間と人間の相互作用を理解するための手動で精選されたテスト セットです。
Interactions between humans are diverse and context-dependent, but previous works have treated them as categorical, disregarding the heavy tail of possible interactions. We propose a new paradigm of learning human-human interactions as free text from a single still image, allowing for flexibility in modeling the unlimited space of situations and relationships between people. To overcome the absence of data labelled specifically for this task, we use knowledge distillation applied to synthetic caption data produced by a large language model without explicit supervision. We show that the pseudo-labels produced by this procedure can be used to train a captioning model to effectively understand human-human interactions in images, as measured by a variety of metrics that measure textual and semantic faithfulness and factual groundedness of our predictions. We further show that our approach outperforms SOTA image captioning and situation recognition models on this task. We will release our code and pseudo-labels along with Waldo and Wenda, a manually-curated test set for still image human-human interaction understanding.