畳み込みビデオモデルは、対応する画像レベルモデルよりも計算の複雑さが1桁大きくなります。計算リソースに制約されるため、長いビデオシーケンスをエンドツーエンドでトレーニングできるモデルやトレーニング方法はありません。現在、主流の方法は生のビデオをクリップに分割することであり、不完全な断片的な時間情報フローにつながります。長い文を扱う自然言語処理技術に触発されて、マルコフ性を満たすシリアルフラグメントとしてビデオを扱い、複数のステップで時間次元を介して情報を段階的に伝播することにより、全体としてトレーニングすることを提案します。このプログレッシブトレーニング(PGT)メソッドは、限られたリソースで長いビデオをエンドツーエンドでトレーニングし、情報の効果的な送信を保証します。一般的で堅牢なトレーニング方法として、さまざまなモデルやデータセットでパフォーマンスが大幅に向上することを経験的に示しています。説明に役立つ例として、提案された方法は、SlowOnlyネットワークをシャレードで3.7 mAP、キネティクスで1.9トップ1の精度を向上させ、パラメーターと計算のオーバーヘッドはごくわずかです。コードはhttps://github.com/BoPang1996/PGTで入手できます。
Convolutional video models have an order of magnitude larger computational complexity than their counterpart image-level models. Constrained by computational resources, there is no model or training method that can train long video sequences end-to-end. Currently, the main-stream method is to split a raw video into clips, leading to incomplete fragmentary temporal information flow. Inspired by natural language processing techniques dealing with long sentences, we propose to treat videos as serial fragments satisfying Markov property, and train it as a whole by progressively propagating information through the temporal dimension in multiple steps. This progressive training (PGT) method is able to train long videos end-to-end with limited resources and ensures the effective transmission of information. As a general and robust training method, we empirically demonstrate that it yields significant performance improvements on different models and datasets. As an illustrative example, the proposed method improves SlowOnly network by 3.7 mAP on Charades and 1.9 top-1 accuracy on Kinetics with negligible parameter and computation overhead. Code is available at https://github.com/BoPang1996/PGT.