arXiv reaDer
Comparative Analysis of CNN-based Spatiotemporal Reasoning in Videos
ビデオストリームのアクションとジェスチャを理解するには、さまざまな時点からの空間コンテンツの時間的推論、つまり時空間(ST)モデリングが必要です。この調査論文では、アクションとジェクトル認識タスクのさまざまなSTモデリング手法の比較分析を行いました。畳み込みニューラルネットワーク(CNN)は、静止画像の特徴抽出器として効果的なツールであることが証明されているため、CNNによって抽出されたさまざまな時点からの静止画像の特徴にSTモデリング手法を適用します。すべての手法は、CNN特徴抽出部分とともにエンドツーエンドでトレーニングされ、公開されている2つのベンチマークであるJesterデータセットとSomething-Somethingデータセットで評価されます。 Jesterデータセットには、さまざまな動的および静的な手のジェスチャーが含まれていますが、Something-Somethingデータセットには、人間とオブジェクトの相互作用のアクションが含まれています。これら2つのベンチマークの共通の特徴は、アクション/ジェスチャを正しく分類するために、設計されたアーキテクチャがビデオの完全な時間的コンテンツをキャプチャする必要があることです。予想に反して、実験結果は、リカレントニューラルネットワーク(RNN)ベースのSTモデリング手法が、完全畳み込みアーキテクチャなどの他の手法と比較して劣った結果をもたらすことを示しています。この作業のコードと事前トレーニング済みモデルは公開されています。
Understanding actions and gestures in video streams requires temporal reasoning of the spatial content from different time instants, i.e., spatiotemporal (ST) modeling. In this survey paper, we have made a comparative analysis of different ST modeling techniques for action and gecture recognition tasks. Since Convolutional Neural Networks (CNNs) are proved to be an effective tool as a feature extractor for static images, we apply ST modeling techniques on the features of static images from different time instants extracted by CNNs. All techniques are trained end-to-end together with a CNN feature extraction part and evaluated on two publicly available benchmarks: The Jester and the Something-Something datasets. The Jester dataset contains various dynamic and static hand gestures, whereas the Something-Something dataset contains actions of human-object interactions. The common characteristic of these two benchmarks is that the designed architectures need to capture the full temporal content of videos in order to correctly classify actions/gestures. Contrary to expectations, experimental results show that Recurrent Neural Network (RNN) based ST modeling techniques yield inferior results compared to other techniques such as fully convolutional architectures. Codes and pretrained models of this work are publicly available.
updated: Mon Jan 11 2021 13:53:46 GMT+0000 (UTC)
published: Wed Sep 11 2019 16:10:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト