arXiv reaDer
生成された画像とキャプションを使用したマルチメディア イベント抽出のトレーニング
Training Multimedia Event Extraction With Generated Images and Captions
現代のニュース報道ではマルチメディア コンテンツがますます取り上げられており、マルチメディア イベントの抽出に関する研究が活発化しています。ただし、このタスクには注釈付きのマルチモーダル トレーニング データが不足しており、人工的に生成されたトレーニング データは現実世界のデータからの分布のシフトの影響を受けます。本稿では、人工的に生成されたマルチモーダルトレーニングデータをうまく活用し、最先端のパフォーマンスを実現するクロスモダリティ拡張マルチメディアイベント学習(CAMEL)を提案します。単峰性トレーニング データを条件として、安定拡散などの既製の画像ジェネレーターや BLIP などの画像キャプションを使用して、マルチモーダル トレーニング データを生成します。ドメイン全体で効果的な堅牢な機能を学習するために、反復的で段階的なアニーリング トレーニング戦略を考案します。実質的な実験により、CAMEL が M2E2 ベンチマークで最先端 (SOTA) のベースラインを上回っていることが示されています。特にマルチメディア イベントでは、以前の SOTA よりもイベント言及識別で 4.2% F1、引数識別で 9.8% F1 のパフォーマンスを上回りました。これは、CAMEL が 2 つのモダリティから相乗的な表現を学習していることを示しています。
Contemporary news reporting increasingly features multimedia content, motivating research on multimedia event extraction. However, the task lacks annotated multimodal training data and artificially generated training data suffer from the distribution shift from the real-world data. In this paper, we propose Cross-modality Augmented Multimedia Event Learning (CAMEL), which successfully utilizes artificially generated multimodal training data and achieves state-of-the-art performance. Conditioned on unimodal training data, we generate multimodal training data using off-the-shelf image generators like Stable Diffusion and image captioners like BLIP. In order to learn robust features that are effective across domains, we devise an iterative and gradual annealing training strategy. Substantial experiments show that CAMEL surpasses state-of-the-art (SOTA) baselines on the M2E2 benchmark. On multimedia events in particular, we outperform the prior SOTA by 4.2% F1 on event mention identification and by 9.8% F1 on argument identification, which demonstrates that CAMEL learns synergistic representations from the two modalities.
updated: Thu Jun 15 2023 09:01:33 GMT+0000 (UTC)
published: Thu Jun 15 2023 09:01:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト