arXiv reaDer
MultiVENT: 整列された自然テキストを使用したイベントの多言語ビデオ
MultiVENT: Multilingual Videos of Events with Aligned Natural Text
日常のニュース報道は、従来の放送から直接の未編集のビデオ映像などの幅広いプレゼンテーション形式に移行しています。オンラインで利用できる多様なマルチモーダル、多言語のニュース ソースを反映するデータセットを使用して、モデルにこの変化から恩恵を受けるように教えることができますが、既存のニュースビデオ データセットは、英語を話す視聴者向けに制作された従来のニュース放送に焦点を当てています。私たちは、5 つのターゲット言語にわたるテキスト ドキュメントに基づいた多言語のイベント中心のビデオのデータセットである MultiVENT を構築することで、この制限に対処します。 MultiVENT には、ニュース放送ビデオと非専門的なイベント映像の両方が含まれており、オンライン ニュース ビデオの状態を分析し、堅牢で事実に正確なモデルを構築するためにそれらをどのように活用できるかを分析するために使用されます。最後に、MultiVENT を使用した情報検索のベースラインとして機能する、複雑な多言語ビデオ検索のモデルを提供します。
Everyday news coverage has shifted from traditional broadcasts towards a wide range of presentation formats such as first-hand, unedited video footage. Datasets that reflect the diverse array of multimodal, multilingual news sources available online could be used to teach models to benefit from this shift, but existing news video datasets focus on traditional news broadcasts produced for English-speaking audiences. We address this limitation by constructing MultiVENT, a dataset of multilingual, event-centric videos grounded in text documents across five target languages. MultiVENT includes both news broadcast videos and non-professional event footage, which we use to analyze the state of online news videos and how they can be leveraged to build robust, factually accurate models. Finally, we provide a model for complex, multilingual video retrieval to serve as a baseline for information retrieval using MultiVENT.
updated: Thu Jul 06 2023 17:29:34 GMT+0000 (UTC)
published: Thu Jul 06 2023 17:29:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト