arXiv reaDer
Progressive Relation Learning for Group Activity Recognition
 グループアクティビティは通常、多くのインタラクティブな個人の間の時空間のダイナミクスを伴いますが、いくつかのキーフレームの少数の参加者だけが本質的にアクティビティを定義します。したがって、グループ関連を効果的にモデリングし、無関係なアクション(および相互作用)を抑制することは、グループアクティビティの認識に不可欠です。本論文では、グループ活動の低レベルの特徴と高レベルの関係を徐々に改善するための深層強化学習に基づく新しい方法を提案する。まず、セマンティックリレーショングラフ(SRG)を構築して、人物間の関係を明示的にモデル化します。次に、2つのマルコフ決定プロセスに従ってポリシーを採用する2つのエージェントが適用され、SRGが徐々に改善されます。具体的には、離散アクション空間の1つの特徴抽出(FD)エージェントは、最も有益なフレームを抽出することにより、低レベルの時空間特徴を洗練します。連続アクション空間の別の関係ゲート(RG)エージェントは、グループ関連の関係により注意を払うように高レベルのセマンティックグラフを調整します。 SRG、FDエージェント、およびRGエージェントは、互いのパフォーマンスを相互に高めるために交互に最適化されます。広く使用されている2つのベンチマークに関する広範な実験により、提案されたアプローチの有効性と優位性が実証されています。
Group activities usually involve spatiotemporal dynamics among many interactive individuals, while only a few participants at several key frames essentially define the activity. Therefore, effectively modeling the group-relevant and suppressing the irrelevant actions (and interactions) are vital for group activity recognition. In this paper, we propose a novel method based on deep reinforcement learning to progressively refine the low-level features and high-level relations of group activities. Firstly, we construct a semantic relation graph (SRG) to explicitly model the relations among persons. Then, two agents adopting policy according to two Markov decision processes are applied to progressively refine the SRG. Specifically, one feature-distilling (FD) agent in the discrete action space refines the low-level spatio-temporal features by distilling the most informative frames. Another relation-gating (RG) agent in continuous action space adjusts the high-level semantic graph to pay more attention to group-relevant relations. The SRG, FD agent, and RG agent are optimized alternately to mutually boost the performance of each other. Extensive experiments on two widely used benchmarks demonstrate the effectiveness and superiority of the proposed approach.
updated: Tue Mar 03 2020 09:05:03 GMT+0000 (UTC)
published: Thu Aug 08 2019 06:50:42 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト