この記事では、人間活動認識などのダウンストリームタスクで役立つビデオ表現をエンコードする能力を向上させるために、自己監視タスクで生成的敵対的ネットワーク(GAN)を拡張するための新しいアプローチを提案します。提案された方法では、入力ビデオフレームは、回転、並進、シアリングなどのさまざまな空間変換、またはフレームの時間順序のシャッフルなどの時間変換によってランダムに変換されます。次に、弁別子は、補助損失を導入することにより、適用される変換を予測するように奨励されます。その後、結果は、KTH、UCF101、Ball-Dropなどのデータセットで実行される人間の活動の認識に使用されるビデオの有用な表現を提供するためのベースライン方法に対する提案された方法の優位性を証明します。 Ball-Dropデータセットは、身体的および認知的に厳しいタスクを通じて子供たちの実行機能を測定するために特別に設計されたデータセットです。ベースラインメソッドの代わりに提案されたメソッドの機能を使用すると、トップ1の分類精度が4%以上増加しました。さらに、下流のタスクに対するさまざまな変換の寄与を調査するために、アブレーション研究が行われました。
This article proposes a novel approach for augmenting generative adversarial network (GAN) with a self-supervised task in order to improve its ability for encoding video representations that are useful in downstream tasks such as human activity recognition. In the proposed method, input video frames are randomly transformed by different spatial transformations, such as rotation, translation and shearing or temporal transformations such as shuffling temporal order of frames. Then discriminator is encouraged to predict the applied transformation by introducing an auxiliary loss. Subsequently, results prove superiority of the proposed method over baseline methods for providing a useful representation of videos used in human activity recognition performed on datasets such as KTH, UCF101 and Ball-Drop. Ball-Drop dataset is a specifically designed dataset for measuring executive functions in children through physically and cognitively demanding tasks. Using features from proposed method instead of baseline methods caused the top-1 classification accuracy to increase by more then 4%. Moreover, ablation study was performed to investigate the contribution of different transformations on downstream task.