ビデオテキスト検索タスク用に、シンプルでありながら効果的なエンドツーエンドのビデオ言語事前トレーニング (VidLP) フレームワーク、マスクされた対照的なビデオ言語事前トレーニング (MAC) を提示します。私たちの MAC は、マスク サンプリング メカニズムによって VidLP モデルのビデオ表現の空間的および時間的冗長性を減らし、事前トレーニングの効率を向上させることを目的としています。従来の時間スパース サンプリングと比較して、高比率の空間領域をランダムにマスクし、可視領域のみをスパース空間サンプリングとしてエンコーダに供給することを提案します。同様に、一貫性を保つために、テキスト入力にはマスク サンプリング手法を採用しています。 MAE のマスク後予測パラダイムをやみくもに適用する代わりに、効率的なビデオ テキスト アラインメントのためのマスク後アラインメント パラダイムを提案します。動機は、ビデオテキスト検索タスクが低レベルの再構築ではなく高レベルのアラインメントに依存し、マスクされたモデリングを使用したマルチモーダル アラインメントにより、モデルが不完全で不安定な入力からロバストで一般的なマルチモーダル表現を学習するようになることです。これらの設計を組み合わせることで、効率的なエンドツーエンドの事前トレーニングが可能になります。FLOP を減らし (60% オフ)、事前トレーニングを加速し (3 倍)、パフォーマンスを向上させます。当社の MAC は、MSR-VTT、DiDeMo、ActivityNet など、さまざまなビデオ テキスト検索データセットで最先端の結果を達成しています。私たちのアプローチは、入力モダリティに対して雑食です。最小限の変更で、画像テキスト検索タスクで競争力のある結果を達成します。
We present a simple yet effective end-to-end Video-language Pre-training (VidLP) framework, Masked Contrastive Video-language Pretraining (MAC), for video-text retrieval tasks. Our MAC aims to reduce video representation's spatial and temporal redundancy in the VidLP model by a mask sampling mechanism to improve pre-training efficiency. Comparing conventional temporal sparse sampling, we propose to randomly mask a high ratio of spatial regions and only feed visible regions into the encoder as sparse spatial sampling. Similarly, we adopt the mask sampling technique for text inputs for consistency. Instead of blindly applying the mask-then-prediction paradigm from MAE, we propose a masked-then-alignment paradigm for efficient video-text alignment. The motivation is that video-text retrieval tasks rely on high-level alignment rather than low-level reconstruction, and multimodal alignment with masked modeling encourages the model to learn a robust and general multimodal representation from incomplete and unstable inputs. Coupling these designs enables efficient end-to-end pre-training: reduce FLOPs (60% off), accelerate pre-training (by 3x), and improve performance. Our MAC achieves state-of-the-art results on various video-text retrieval datasets, including MSR-VTT, DiDeMo, and ActivityNet. Our approach is omnivorous to input modalities. With minimal modifications, we achieve competitive results on image-text retrieval tasks.