arXiv reaDer
ビジュアルストーリーにおける重要なキャラクターの検出とグラウンディング
Detecting and Grounding Important Characters in Visual Stories
キャラクターは、あらゆるストーリーのプロットに不可欠です。物語を書く前に登場人物を確立することで、筋書きの明快さと物語全体の流れを改善することができます。ただし、視覚的なストーリーテリングに関する以前の研究は、画像内のオブジェクトの検出とそれらの間の関係の発見に焦点を当てる傾向があります。このアプローチでは、文字が生成パイプラインに供給されるときに、文字は他のオブジェクトと区別されません。その結果、キャラクター中心のストーリーではなく、一貫した一連のイベントが作成されます。この制限に対処するために、ビジュアルおよびテキストの相互参照チェーンや文字の重要度評価など、文字中心の豊富な注釈を提供する VIST-Character データセットを導入します。このデータセットに基づいて、2 つの新しいタスクを提案します: ビジュアル ストーリーにおける重要なキャラクターの検出とキャラクターのグラウンディングです。どちらのタスクについても、分布の類似性と事前トレーニング済みの視覚および言語モデルに基づいて、単純な教師なしモデルを開発します。私たちの新しいデータセットは、これらのモデルとともに、キャラクター中心の視点からストーリーを分析および生成するための後続の作業の基盤として機能します。
Characters are essential to the plot of any story. Establishing the characters before writing a story can improve the clarity of the plot and the overall flow of the narrative. However, previous work on visual storytelling tends to focus on detecting objects in images and discovering relationships between them. In this approach, characters are not distinguished from other objects when they are fed into the generation pipeline. The result is a coherent sequence of events rather than a character-centric story. In order to address this limitation, we introduce the VIST-Character dataset, which provides rich character-centric annotations, including visual and textual co-reference chains and importance ratings for characters. Based on this dataset, we propose two new tasks: important character detection and character grounding in visual stories. For both tasks, we develop simple, unsupervised models based on distributional similarity and pre-trained vision-and-language models. Our new dataset, together with these models, can serve as the foundation for subsequent work on analysing and generating stories from a character-centric perspective.
updated: Thu Mar 30 2023 18:24:06 GMT+0000 (UTC)
published: Thu Mar 30 2023 18:24:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト