機能マッピングRNNと呼ばれる、将来のビデオ機能生成およびアクション予測のための新しいリカレントニューラルネットワークベースのアルゴリズムを紹介します。私たちの新しいRNNアーキテクチャは、機械学習の3つの効果的な原則、つまりパラメーター共有、放射基底関数カーネル、および敵対者トレーニングに基づいています。機能マッピングRNNは、ビデオの最も初期のフレームの一部のみを使用して、従来のRNNで必要なパラメーターの一部で将来の機能を生成できます。これらの将来の機能を、RBFカーネルレイヤーで促進されるシンプルなマルチレイヤーパーセプトロンに供給することにより、ビデオ内のアクションを正確に予測することができます。実験では、JHMDB-21データセットで18%の改善、UCF101-24で6%、UT-Interactionデータセットで13%の改善が得られました。
We introduce a novel Recurrent Neural Network-based algorithm for future video feature generation and action anticipation called feature mapping RNN. Our novel RNN architecture builds upon three effective principles of machine learning, namely parameter sharing, Radial Basis Function kernels and adversarial training. Using only some of the earliest frames of a video, the feature mapping RNN is able to generate future features with a fraction of the parameters needed in traditional RNN. By feeding these future features into a simple multi-layer perceptron facilitated with an RBF kernel layer, we are able to accurately predict the action in the video. In our experiments, we obtain 18% improvement on JHMDB-21 dataset, 6% on UCF101-24 and 13% improvement on UT-Interaction datasets over prior state-of-the-art for action anticipation.