21.8Kのテレビ番組ビデオクリップからの218Kの英語と中国語のクエリを含む、大規模な多言語ビデオモーメント検索データセットであるmTVRを紹介します。データセットは、人気のあるTVRデータセット(英語)を中国語のクエリと字幕のペアで拡張することによって収集されます。既存のモーメント検索データセットと比較して、mTVRは多言語で大きく、多様な注釈が付いています。さらに、エンコーダパラメータの共有と言語の近隣制約を介して、両方の言語からのデータを学習して操作する多言語モーメント検索モデルであるmXMLを提案します。新しく収集されたMTVRデータセットでのmXMLの有効性を示します。ここで、mXMLは、より少ないパラメーターを使用しながら、強力な単一言語ベースラインを上回っています。さらに、詳細なデータセット分析とモデルアブレーションも提供します。データとコードはhttps://github.com/jayleicn/mTVRetrievalで公開されています
We introduce mTVR, a large-scale multilingual video moment retrieval dataset, containing 218K English and Chinese queries from 21.8K TV show video clips. The dataset is collected by extending the popular TVR dataset (in English) with paired Chinese queries and subtitles. Compared to existing moment retrieval datasets, mTVR is multilingual, larger, and comes with diverse annotations. We further propose mXML, a multilingual moment retrieval model that learns and operates on data from both languages, via encoder parameter sharing and language neighborhood constraints. We demonstrate the effectiveness of mXML on the newly collected MTVR dataset, where mXML outperforms strong monolingual baselines while using fewer parameters. In addition, we also provide detailed dataset analyses and model ablations. Data and code are publicly available at https://github.com/jayleicn/mTVRetrieval