ビデオ言語モデリングは、Web ビデオの急速な成長に伴い、多くの注目を集めています。ほとんどの既存の方法は、ビデオ フレームとテキストの説明が意味的に相関していることを前提としており、ビデオ レベルでのビデオ言語モデリングに焦点を当てています。ただし、この仮説は次の 2 つの理由で失敗することがよくあります。 (2) 通常、未処理のビデオには、ノイズの多い/無意味な情報 (風景ショット、トランジション、ティーザーなど) が含まれています。最近の多くの研究では、この問題を軽減するためにアテンション メカニズムが導入されていますが、関連性のない情報やノイズの多い情報により、対処が非常に困難になっています。このような課題を克服するために、ビデオ言語モデリング用の言語誘導ノイズ除去ネットワーク (LGDN) と呼ばれる効率的で効果的なモデルを提案します。抽出されたすべてのビデオ フレームを利用するほとんどの既存の方法とは異なり、LGDN は、言語の監督下で不整合または冗長なフレームを動的に除外し、クロスモーダル トークン レベルのアライメントのためにビデオごとに 2 ~ 4 個の顕著なフレームのみを取得します。 5 つの公開データセットに対する広範な実験では、LGDN が最先端の技術を大幅に上回っていることが示されています。また、将来のビデオ言語作業に刺激を与えることを期待して、ノイズの問題を解決することの重要性を明らかにするための詳細なアブレーション研究も提供します。
Video-language modeling has attracted much attention with the rapid growth of web videos. Most existing methods assume that the video frames and text description are semantically correlated, and focus on video-language modeling at video level. However, this hypothesis often fails for two reasons: (1) With the rich semantics of video contents, it is difficult to cover all frames with a single video-level description; (2) A raw video typically has noisy/meaningless information (e.g., scenery shot, transition or teaser). Although a number of recent works deploy attention mechanism to alleviate this problem, the irrelevant/noisy information still makes it very difficult to address. To overcome such challenge, we thus propose an efficient and effective model, termed Language-Guided Denoising Network (LGDN), for video-language modeling. Different from most existing methods that utilize all extracted video frames, LGDN dynamically filters out the misaligned or redundant frames under the language supervision and obtains only 2--4 salient frames per video for cross-modal token-level alignment. Extensive experiments on five public datasets show that our LGDN outperforms the state-of-the-arts by large margins. We also provide detailed ablation study to reveal the critical importance of solving the noise issue, in hope of inspiring future video-language work.