arXiv reaDer
Actor Conditioned Attention Maps for Video Action Detection
 複数のアクターで複雑なイベントを観察している間、人間は各アクターを個別に評価するのではなく、コンテキストから推測します。周囲のコンテキストは、アクションを理解するための重要な情報を提供します。この目的を達成するために、関心領域(RoI)プーリングをアテンションモジュールで置き換えることを提案します。これは、トリミングの代わりに、検出された俳優に対する各時空間領域の関連性をランク付けします。これらをActor-Conditioned Attention Maps(ACAM)と呼び、シーン全体から抽出された特徴を増幅/減衰します。結果の俳優条件付き機能は、条件付き俳優に関連する領域にモデルを集中させます。アクターのローカリゼーションには、事前トレーニング済みのオブジェクト検出器を利用します。提案されたモデルは効率的で、アクション検出パイプラインはほぼリアルタイムのパフォーマンスを実現します。 AVA 2.1とJHMDBの実験結果は、AVAで7 mAP、JHMDBで4 mAPの改善により、注意マップの有効性を示しています。
While observing complex events with multiple actors, humans do not assess each actor separately, but infer from the context. The surrounding context provides essential information for understanding actions. To this end, we propose to replace region of interest(RoI) pooling with an attention module, which ranks each spatio-temporal region's relevance to a detected actor instead of cropping. We refer to these as Actor-Conditioned Attention Maps (ACAM), which amplify/dampen the features extracted from the entire scene. The resulting actor-conditioned features focus the model on regions that are relevant to the conditioned actor. For actor localization, we leverage pre-trained object detectors, which transfer better. The proposed model is efficient and our action detection pipeline achieves near real-time performance. Experimental results on AVA 2.1 and JHMDB demonstrate the effectiveness of attention maps, with improvements of 7 mAP on AVA and 4 mAP on JHMDB.
updated: Sun May 10 2020 23:01:24 GMT+0000 (UTC)
published: Sun Dec 30 2018 23:12:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト