arXiv reaDer
Concurrence-Aware Long Short-Term Sub-Memories for Person-Person Action Recognition
最近、長短期記憶(LSTM)は、さまざまな範囲の動的コンテキストで時間情報をモデル化できるため、個人の行動認識のために個々のダイナミクスをモデル化するための一般的な選択肢になりました。ただし、既存のRNNモデルは、個人の活動ダイナミクスを単純に組み合わせたり、全体としてモデル化したりすることによって、人と人の相互作用の時間的ダイナミクスをキャプチャすることにのみ焦点を当てています。これは、人と人の相互作用が時間の経過とともにどのように変化するかという相互に関連するダイナミクスを無視します。この目的のために、我々は、人々をカバーするバウンディングボックス上の2人の相互作用する人々の間の長期的な相互に関連するダイナミクスをモデル化するための新しい同時発生認識長期短期サブメモリー(Co-LSTSM)を提案します。具体的には、フレームごとに、2つのサブメモリユニットが個々のモーション情報を格納し、同時LSTMユニットは、新しいコメモリセルを介して、これら2つのサブメモリユニットの相互作用する人々の間で相互に関連するモーション情報を選択的に統合して格納します。 BITおよびUTデータセットの実験結果は、最先端の方法と比較したCo-LSTSMの優位性を示しています。
Recently, Long Short-Term Memory (LSTM) has become a popular choice to model individual dynamics for single-person action recognition due to its ability of modeling the temporal information in various ranges of dynamic contexts. However, existing RNN models only focus on capturing the temporal dynamics of the person-person interactions by naively combining the activity dynamics of individuals or modeling them as a whole. This neglects the inter-related dynamics of how person-person interactions change over time. To this end, we propose a novel Concurrence-Aware Long Short-Term Sub-Memories (Co-LSTSM) to model the long-term inter-related dynamics between two interacting people on the bounding boxes covering people. Specifically, for each frame, two sub-memory units store individual motion information, while a concurrent LSTM unit selectively integrates and stores inter-related motion information between interacting people from these two sub-memory units via a new co-memory cell. Experimental results on the BIT and UT datasets show the superiority of Co-LSTSM compared with the state-of-the-art methods.
updated: Sun Apr 24 2022 05:04:29 GMT+0000 (UTC)
published: Sat Jun 03 2017 11:07:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト