arXiv reaDer
ViT-ReT: ビデオにおける人間の活動認識のためのビジョンおよびリカレント トランスフォーマー ニューラル ネットワーク
ViT-ReT: Vision and Recurrent Transformer Neural Networks for Human Activity Recognition in Videos
人間の活動認識は、個人または個人のグループが実行している活動を判断しようとするコンピューター ビジョンの新しい重要な分野です。この分野のアプリケーションは、スポーツのハイライト ビデオの生成から、インテリジェントな監視やジェスチャー認識まで多岐にわたります。ほとんどのアクティビティ認識システムは、畳み込みニューラル ネットワーク (CNN) を組み合わせてデータから特徴を抽出し、リカレント ニューラル ネットワーク (RNN) を組み合わせてデータの時間依存性を判断します。この論文では、人間の活動を認識するための 2 つのトランスフォーマー ニューラル ネットワークを提案し、設計します。リカレント トランスフォーマー (ReT)、データ シーケンスの予測に使用される特殊なニューラル ネットワーク、および視覚トランスフォーマー (ViT)、顕著性を抽出するために最適化されたトランスフォーマーです。アクティビティ認識の速度とスケーラビリティを向上させるために、画像から特徴を抽出します。提案されたトランスフォーマー ニューラル ネットワークと、現在の CNN および RNN ベースの人間活動認識モデルとの速度と精度の広範な比較を提供しました。
Human activity recognition is an emerging and important area in computer vision which seeks to determine the activity an individual or group of individuals are performing. The applications of this field ranges from generating highlight videos in sports, to intelligent surveillance and gesture recognition. Most activity recognition systems rely on a combination of convolutional neural networks (CNNs) to perform feature extraction from the data and recurrent neural networks (RNNs) to determine the time dependent nature of the data. This paper proposes and designs two transformer neural networks for human activity recognition: a recurrent transformer (ReT), a specialized neural network used to make predictions on sequences of data, as well as a vision transformer (ViT), a transformer optimized for extracting salient features from images, to improve speed and scalability of activity recognition. We have provided an extensive comparison of the proposed transformer neural networks with the contemporary CNN and RNN-based human activity recognition models in terms of speed and accuracy.
updated: Tue Aug 16 2022 20:03:53 GMT+0000 (UTC)
published: Tue Aug 16 2022 20:03:53 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト