arXiv reaDer
マルチビュー行動認識のための協調的注意メカニズム
Collaborative Attention Mechanism for Multi-View Action Recognition
マルチビューアクション認識(MVAR)は、さまざまなビューからの補完的な時間情報を活用して、学習パフォーマンスを向上させます。有益なビュー固有の表現を取得することは、MVARで重要な役割を果たします。注意は、時間データの根底にある識別的な手がかりを発見するための効果的な戦略として広く採用されています。ただし、ほとんどの既存のMVARメソッドは、注意を利用して各ビューの表現を個別に抽出するだけであり、注意空間の相互サポート情報に基づいて潜在的なパターンを掘り下げる可能性を無視しています。この目的のために、本論文では、MVAR問題を解決するための協調的注意メカニズム(CAM)を提案します。提案されたCAMは、マルチビュー間の注意の違いを検出し、フレームレベルの情報を適応的に統合して相互に利益をもたらします。具体的には、長短期記憶(LSTM)を相互扶助RNN(MAR)に拡張して、マルチビューコラボレーションプロセスを実現します。 CAMは、ビュー固有の注意パターンを利用して、別のビューをガイドし、それ自体では探索するのが難しい潜在的な情報を発見します。これは、注意情報を活用する新しい方法を提供し、マルチビュー表現学習を強化します。 4つのアクションデータセットでの広範な実験は、提案されたCAMが各ビューでより良い結果を達成し、マルチビューのパフォーマンスも向上させることを示しています。
Multi-view action recognition (MVAR) leverages complementary temporal information from different views to improve the learning performance. Obtaining informative view-specific representation plays an essential role in MVAR. Attention has been widely adopted as an effective strategy for discovering discriminative cues underlying temporal data. However, most existing MVAR methods only utilize attention to extract representation for each view individually, ignoring the potential to dig latent patterns based on mutual-support information in attention space. To this end, we propose a collaborative attention mechanism (CAM) for solving the MVAR problem in this paper. The proposed CAM detects the attention differences among multi-view, and adaptively integrates frame-level information to benefit each other. Specifically, we extend the long short-term memory (LSTM) to a Mutual-Aid RNN (MAR) to achieve the multi-view collaboration process. CAM takes advantages of view-specific attention pattern to guide another view and discover potential information which is hard to be explored by itself. It paves a novel way to leverage attention information and enhances the multi-view representation learning. Extensive experiments on four action datasets illustrate the proposed CAM achieves better results for each view and also boosts multi-view performance.
updated: Wed Nov 25 2020 20:30:54 GMT+0000 (UTC)
published: Mon Sep 14 2020 17:33:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト