Self-supervised Video Representation Learning (VRL) は、さまざまなダウンストリーム タスクに利用できる、キュレートされていない、ラベル付けされていないビデオ ストリームから転送可能な表現を学習することを目的としています。マスクされた画像モデリング (MIM) の最近の進歩により、モデルは画像内のランダムにマスクされた領域を予測することを学習します。これにより、MIM ベースの VRL メソッドが出現し、以前の VRL メソッドよりも大幅に優れていることでその可能性が実証されました。ただし、時間次元が追加されるため、大量の計算が必要になります。これは、既存の MIM ベースの VRL メソッドが、ランダム マスキング戦略に頼ることによって、到着するビデオのパッチ間の情報密度の空間的および時間的不平等を見落とし、それによって、有益でないトークン/フレームを予測する計算を浪費するためです。マスク ビデオ モデリングのこれらの制限に対処するために、オブジェクトの動きに応じてより重要なトークンをオンラインでマスクする新しいトークン選択方法を提案します。これをモーション中心のトークン選択と呼びます。さらに、モデルが最小限の冗長性で有益で因果関係のあるフレームに集中できるようにする動的なフレーム選択戦略を提示します。複数のベンチマークと Ego4D データセットでメソッドを検証し、提案されたメソッドを使用した事前トレーニング済みモデルが、メモリを大幅に削減しながら、アクション認識やオブジェクトの状態変化の分類などのダウンストリーム タスクで最先端の VRL メソッドよりも大幅に優れていることを示します。事前トレーニングおよび微調整中の要件。
Self-supervised Video Representation Learning (VRL) aims to learn transferrable representations from uncurated, unlabeled video streams that could be utilized for diverse downstream tasks. With recent advances in Masked Image Modeling (MIM), in which the model learns to predict randomly masked regions in the images given only the visible patches, MIM-based VRL methods have emerged and demonstrated their potential by significantly outperforming previous VRL methods. However, they require an excessive amount of computations due to the added temporal dimension. This is because existing MIM-based VRL methods overlook spatial and temporal inequality of information density among the patches in arriving videos by resorting to random masking strategies, thereby wasting computations on predicting uninformative tokens/frames. To tackle these limitations of Masked Video Modeling, we propose a new token selection method that masks our more important tokens according to the object's motions in an online manner, which we refer to as Motion-centric Token Selection. Further, we present a dynamic frame selection strategy that allows the model to focus on informative and causal frames with minimal redundancy. We validate our method over multiple benchmark and Ego4D datasets, showing that the pre-trained model using our proposed method significantly outperforms state-of-the-art VRL methods on downstream tasks, such as action recognition and object state change classification while largely reducing memory requirements during pre-training and fine-tuning.