マルチモーダル ヘッドラインは、ビデオ フレームとトランスクリプトの両方を利用して、ビデオの自然言語のタイトルを生成します。手動で注釈を付けた大規模なデータが不足しているため、ビデオの根拠のある見出しに注釈を付ける作業は労力がかかり、非現実的です。事前にトレーニングされた言語モデルとビデオ言語モデルに関する以前の研究は、関連するダウンストリーム タスクで大きな進歩を遂げました。ただし、マルチモーダル エンコーダーとセンテンス デコーダーの両方が必要なマルチモーダル ヘッドライン アーキテクチャに直接適用できるものはありません。言語モデルとビデオ言語モデルを単純に接着する上での大きな課題は、視覚と言語の補完的な能力を組み合わせることを目的としたモダリティのバランスです。この論文では、生成的な事前トレーニング済み言語モデル上の事前トレーニング済みビデオ言語モデルからビデオエンコーダーを移植するための新しいアプローチを提案します。また、モダリティ間/モダリティ内の関係を介して、さまざまなコンポーネントを統合するためのコンセンサス融合メカニズムも提示します。経験的に、実験では、移植されたモデルが、実際のアプリケーションから収集された真新しいデータセットで強力な結果を達成することが示されています。
Multimodal headline utilizes both video frames and transcripts to generate the natural language title of the videos. Due to a lack of large-scale, manually annotated data, the task of annotating grounded headlines for video is labor intensive and impractical. Previous researches on pre-trained language models and video-language models have achieved significant progress in related downstream tasks. However, none of them can be directly applied to multimodal headline architecture where we need both multimodal encoder and sentence decoder. A major challenge in simply gluing language model and video-language model is the modality balance, which is aimed at combining visual-language complementary abilities. In this paper, we propose a novel approach to graft the video encoder from the pre-trained video-language model on the generative pre-trained language model. We also present a consensus fusion mechanism for the integration of different components, via inter/intra modality relation. Empirically, experiments show that the grafted model achieves strong results on a brand-new dataset collected from real-world applications.