arXiv reaDer
テキストおよびビジュアル機能を使用したTwitterストリームによる洪水検出
Flood Detection via Twitter Streams using Textual and Visual Features
このペーパーでは、Twitterで共有されるマルチメディアコンテンツの洪水イベントを分析および検出することを目的とした、MediaEval2020洪水関連マルチメディアタスクに対して提案されたソリューションを紹介します。合計で、必須の実行用のテキスト情報と視覚情報を組み合わせたマルチモーダルソリューションと、オプションの実行としての3つの単一モーダル画像とテキストベースのソリューションを含む4つの異なるソリューションを提案しました。マルチモーダル法では、初期の融合でテキストと視覚の特徴を組み合わせ、開発データセットで0.859のマイクロF1スコアを達成する監視付きマルチモーダルバイトランスフォーマーモデルに依存しています。テキストベースの洪水イベントの検出には、.853のF1スコアを達成するトランスネットワーク(つまり、事前にトレーニングされたイタリアのBERTモデル)を使用します。画像ベースのソリューションでは、ImageNetと配置データセットの両方で事前トレーニングされた複数のディープモデルを個別に採用し、初期の融合で組み合わせて、開発セットでそれぞれ.816と.805のF1スコアを達成しました。
The paper presents our proposed solutions for the MediaEval 2020 Flood-Related Multimedia Task, which aims to analyze and detect flooding events in multimedia content shared over Twitter. In total, we proposed four different solutions including a multi-modal solution combining textual and visual information for the mandatory run, and three single modal image and text-based solutions as optional runs. In the multimodal method, we rely on a supervised multimodal bitransformer model that combines textual and visual features in an early fusion, achieving a micro F1-score of .859 on the development data set. For the text-based flood events detection, we use a transformer network (i.e., pretrained Italian BERT model) achieving an F1-score of .853. For image-based solutions, we employed multiple deep models, pre-trained on both, the ImageNet and places data sets, individually and combined in an early fusion achieving F1-scores of .816 and .805 on the development set, respectively.
updated: Mon Nov 30 2020 16:09:11 GMT+0000 (UTC)
published: Mon Nov 30 2020 16:09:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト