この論文では、自己中心的なビデオの社会的相互作用を分類するための新しいフレームワークを提案し、InteractionGCN と名付けました。私たちの方法は、フレーム レベルでリレーショナルおよび非リレーショナル キューのパターンを抽出し、それらを使用して、フレーム レベルでの相互作用コンテキストがグラフ畳み込みネットワーク ベースのアプローチを介して推定されるリレーショナル グラフを構築します。次に、Gated Recurrent Unit アーキテクチャを介して、このコンテキストを一人称モーション情報とともに時間の経過とともに伝播します。 2 つの公的に利用可能なデータセットの切除研究と実験的評価により、提案されたアプローチが検証され、最先端の結果が確立されます。
In this paper we propose a new framework to categorize social interactions in egocentric videos, we named InteractionGCN. Our method extracts patterns of relational and non-relational cues at the frame level and uses them to build a relational graph from which the interactional context at the frame level is estimated via a Graph Convolutional Network based approach. Then it propagates this context over time, together with first-person motion information, through a Gated Recurrent Unit architecture. Ablation studies and experimental evaluation on two publicly available datasets validate the proposed approach and establish state of the art results.