この論文では、時間サイクルが最大限に予測可能なビデオ特徴空間の学習が行動分類に利益をもたらすことを示します。特に、ラベルのないビデオコンテンツの高レベルの時空間構造を効果的に表すことができるCycle Encoding Prediction(CEP)と呼ばれる新しい学習アプローチを提案します。 CEPは、閉じた前方後方および後方前方の時間ループの概念がほぼ保持される潜在空間を構築します。自己監視信号として、CEPはビデオストリームの双方向の時間的コヒーレンスを活用し、時間的サイクルの閉鎖と対照的な特徴の分離の両方を促進する損失関数を適用します。アーキテクチャ的には、基盤となるネットワーク構造は、すべてのビデオスニペットに単一の機能エンコーダーを利用し、時間的な順方向および逆方向の遷移を学習する2つの予測モジュールを追加します。私たちは、行動認識タスクのためのネットワークの口実トレーニングにフレームワークを適用します。標準データセットUCF101およびHMDB51の大幅に改善された結果を報告します。詳細なアブレーション研究は、提案されたコンポーネントの有効性をサポートします。このペーパーでは、CEPコンポーネントのソースコードを完全に公開しています。
In this paper we show that learning video feature spaces in which temporal cycles are maximally predictable benefits action classification. In particular, we propose a novel learning approach termed Cycle Encoding Prediction (CEP) that is able to effectively represent high-level spatio-temporal structure of unlabelled video content. CEP builds a latent space wherein the concept of closed forward-backward as well as backward-forward temporal loops is approximately preserved. As a self-supervision signal, CEP leverages the bi-directional temporal coherence of the video stream and applies loss functions that encourage both temporal cycle closure as well as contrastive feature separation. Architecturally, the underpinning network structure utilises a single feature encoder for all video snippets, adding two predictive modules that learn temporal forward and backward transitions. We apply our framework for pretext training of networks for action recognition tasks. We report significantly improved results for the standard datasets UCF101 and HMDB51. Detailed ablation studies support the effectiveness of the proposed components. We publish source code for the CEP components in full with this paper.