arXiv reaDer
Twitterのテキストと画像での洪水の検出
Floods Detection in Twitter Text and Images
このホワイトペーパーでは、MediaEval 2020洪水関連マルチメディアタスクの方法を紹介します。このタスクは、ソーシャルメディアのテキストコンテンツとビジュアルコンテンツを分析して組み合わせ、実際の洪水イベントを検出することを目的としています。このタスクは主に、特定のエリアに関連する洪水関連のツイートを特定することに焦点を当てています。この課題に対処するために、いくつかのスキームを提案します。テキストベースの洪水イベントの検出には、3つの異なる方法を使用し、Bog of Words(BOW)とイタリア語版のBertを個別に組み合わせて使用し、F1スコアを0.77%、0.68%、0.70%にします。それぞれ開発セット。視覚的な分析では、ImageNetで事前にトレーニングされた複数の最先端のディープモデルを介して抽出された特徴に依存しています。次に、抽出された特徴を使用して複数の個別の分類器をトレーニングし、そのスコアを後期融合方式で組み合わせて、0.75%のF1スコアを達成します。必須のマルチモーダル実行では、得られた分類スコアを、後期融合方式で最高のテキストおよび視覚スキームと組み合わせます。全体として、開発セットで0.80%のF1スコアを達成するマルチモーダルスキームを使用すると、より良い結果が得られます。
In this paper, we present our methods for the MediaEval 2020 Flood Related Multimedia task, which aims to analyze and combine textual and visual content from social media for the detection of real-world flooding events. The task mainly focuses on identifying floods related tweets relevant to a specific area. We propose several schemes to address the challenge. For text-based flood events detection, we use three different methods, relying on Bog of Words (BOW) and an Italian Version of Bert individually and in combination, achieving an F1-score of 0.77%, 0.68%, and 0.70% on the development set, respectively. For the visual analysis, we rely on features extracted via multiple state-of-the-art deep models pre-trained on ImageNet. The extracted features are then used to train multiple individual classifiers whose scores are then combined in a late fusion manner achieving an F1-score of 0.75%. For our mandatory multi-modal run, we combine the classification scores obtained with the best textual and visual schemes in a late fusion manner. Overall, better results are obtained with the multimodal scheme achieving an F1-score of 0.80% on the development set.
updated: Mon Nov 30 2020 16:08:19 GMT+0000 (UTC)
published: Mon Nov 30 2020 16:08:19 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト