ビデオキャプションへの標準的なアプローチは、オフラインで抽出された高密度ビデオ機能から学習するキャプション生成モデルを指示します。これらの特徴抽出器は通常、固定フレームレートでサンプリングされたビデオフレームで動作し、ビデオキャプションデータに適応することなく、画像/ビデオ理解タスクでトレーニングされることがよくあります。この作業では、ビデオキャプションのエンドツーエンドのトランスフォーマーベースのモデルであるSwinBERTを紹介します。これは、ビデオフレームパッチを直接入力として受け取り、自然言語の説明を出力します。複数の2D / 3D特徴抽出器を活用する代わりに、私たちの方法では、ビデオトランスフォーマーを採用して、さまざまなフレームレートの専用設計なしで、可変長のビデオ入力に適応できる時空間表現をエンコードします。このモデルアーキテクチャに基づいて、ビデオキャプションは、ビデオと言語の理解タスク(ビデオの質問応答など)のためのまばらにサンプリングされたビデオフレームでの以前の成功とは対照的に、より密にサンプリングされたビデオフレームから大幅に恩恵を受けることができることを示します。さらに、連続するビデオフレームに固有の冗長性を回避するために、スパースアテンションマスクを適応的に学習し、より優れた長距離ビデオシーケンスモデリングを通じてタスク固有のパフォーマンス向上のために最適化することを提案します。 5つのビデオキャプションデータセットでの広範な実験を通じて、SwinBERTが以前の方法に比べて全体的なパフォーマンスの向上を達成していることを示しています。さらに、学習したスパースアテンションマスクは、限界を新しい最先端技術に押し上げ、異なるビデオ長間および異なるデータセット間で転送できます。
The canonical approach to video captioning dictates a caption generation model to learn from offline-extracted dense video features. These feature extractors usually operate on video frames sampled at a fixed frame rate and are often trained on image/video understanding tasks, without adaption to video captioning data. In this work, we present SwinBERT, an end-to-end transformer-based model for video captioning, which takes video frame patches directly as inputs, and outputs a natural language description. Instead of leveraging multiple 2D/3D feature extractors, our method adopts a video transformer to encode spatial-temporal representations that can adapt to variable lengths of video input without dedicated design for different frame rates. Based on this model architecture, we show that video captioning can benefit significantly from more densely sampled video frames as opposed to previous successes with sparsely sampled video frames for video-and-language understanding tasks (e.g., video question answering). Moreover, to avoid the inherent redundancy in consecutive video frames, we propose adaptively learning a sparse attention mask and optimizing it for task-specific performance improvement through better long-range video sequence modeling. Through extensive experiments on 5 video captioning datasets, we show that SwinBERT achieves across-the-board performance improvements over previous methods, often by a large margin. The learned sparse attention masks in addition push the limit to new state of the arts, and can be transferred between different video lengths and between different datasets.