人間の活動はビデオから学ぶことができます。効果的なモデリングにより、アクションラベルだけでなく、サブアクティビティの進行などのアクティビティの時間的構造も発見できます。生のビデオ信号からそのような構造を自動的に認識することは、本物のモデリングと人間と物体の相互作用の認識の成功を約束する新しい機能です。この目標に向けて、非同期スパースインタラクショングラフネットワーク(ASSIGN)を導入します。これは、ビデオシーン内のエンティティに関連付けられたインタラクションイベントの構造を自動的に検出できる反復グラフネットワークです。 ASSIGNは、動的構造や共存するネイバーとの相互作用など、ビデオエンティティの自律的な動作を学習するパイオニアです。私たちのモデルにおけるエンティティの生活は他のエンティティの生活と非同期であるため、複雑なシナリオへの適応においてより柔軟です。それらの相互作用は時間的にまばらであるため、真の根底にある性質により忠実であり、推論と学習においてより堅牢です。 ASSIGNは、人間とオブジェクトの相互作用の認識でテストされ、生のビデオからの人間のサブアクティビティとオブジェクトのアフォーダンスのセグメント化とラベル付けで優れたパフォーマンスを示します。モデルの時間的構造を発見するためのネイティブ機能は、以前はこのタスクに必須であった外部セグメンテーションへの依存も排除します。
Human activities can be learned from video. With effective modeling it is possible to discover not only the action labels but also the temporal structures of the activities such as the progression of the sub-activities. Automatically recognizing such structure from raw video signal is a new capability that promises authentic modeling and successful recognition of human-object interactions. Toward this goal, we introduce Asynchronous-Sparse Interaction Graph Networks (ASSIGN), a recurrent graph network that is able to automatically detect the structure of interaction events associated with entities in a video scene. ASSIGN pioneers learning of autonomous behavior of video entities including their dynamic structure and their interaction with the coexisting neighbors. Entities' lives in our model are asynchronous to those of others therefore more flexible in adaptation to complex scenarios. Their interactions are sparse in time hence more faithful to the true underlying nature and more robust in inference and learning. ASSIGN is tested on human-object interaction recognition and shows superior performance in segmenting and labeling of human sub-activities and object affordances from raw videos. The native ability for discovering temporal structures of the model also eliminates the dependence on external segmentation that was previously mandatory for this task.