効率的なジェスチャ認識のために、双方向の連続接続された2経路ネットワーク(BCCN)を提案します。 BCCNは、(i)キーフレーム経路と(ii)時間的注意経路の2つの経路で構成されています。キーフレーム経路は、スケルトンベースのキーフレーム選択モジュールを使用して構成されます。キーフレームはパスウェイを通過してそれ自体の空間的特徴を抽出し、時間的注意パスウェイは時間的セマンティクスを抽出します。私たちのモデルは、ビデオでのジェスチャ認識パフォーマンスを改善し、空間的および時間的プロパティのより良いアクティベーションマップを取得しました。テストは、Chalearnデータセット、ETRI-Activity 3Dデータセット、およびToyota SmartHomeデータセットで実行されました。
We propose a bidirectional consecutively connected two-pathway network (BCCN) for efficient gesture recognition. The BCCN consists of two pathways: (i) a keyframe pathway and (ii) a temporal-attention pathway. The keyframe pathway is configured using the skeleton-based keyframe selection module. Keyframes pass through the pathway to extract the spatial feature of itself, and the temporal-attention pathway extracts temporal semantics. Our model improved gesture recognition performance in videos and obtained better activation maps for spatial and temporal properties. Tests were performed on the Chalearn dataset, the ETRI-Activity 3D dataset, and the Toyota Smart Home dataset.