arXiv reaDer
Predicting the Politics of an Image Using Webly Supervised Data
 ニュースメディアは世論を形成し、多くの場合、そこに含まれる視覚的バイアスは人間の観察者にとって明白です。このバイアスは、さまざまなメディアソースがさまざまな主題やトピックをどのように描写しているかから推測できます。このホワイトペーパーでは、Webで監視されたデータを使用して、現代のメディアソースにおける視覚的な政治的バイアスを大規模にモデル化します。左右のニュースソースから100万を超える一意の画像と関連ニュース記事のデータセットを収集し、画像の政治的傾向を予測する方法を開発します。この問題は、データのクラス内の視覚的および意味的な多様性が非常に大きいため、特に困難です。この問題に取り組むための2段階の方法を提案します。最初の段階では、モデルは関連する視覚的概念を学習することを余儀なくされ、画像と対になった記事から計算された文書埋め込みと結合すると、モデルはバイアスを予測できます。 2番目の段階では、テキストドメインの要件を削除し、前のモデルの機能から視覚的な分類器をトレーニングします。この2段階のアプローチが学習を促進し、いくつかの強力なベースラインより優れていることを示します。また、データのニュアンスを示す広範な定性的な結果も提示します。
The news media shape public opinion, and often, the visual bias they contain is evident for human observers. This bias can be inferred from how different media sources portray different subjects or topics. In this paper, we model visual political bias in contemporary media sources at scale, using webly supervised data. We collect a dataset of over one million unique images and associated news articles from left- and right-leaning news sources, and develop a method to predict the image's political leaning. This problem is particularly challenging because of the enormous intra-class visual and semantic diversity of our data. We propose a two-stage method to tackle this problem. In the first stage, the model is forced to learn relevant visual concepts that, when joined with document embeddings computed from articles paired with the images, enable the model to predict bias. In the second stage, we remove the requirement of the text domain and train a visual classifier from the features of the former model. We show this two-stage approach facilitates learning and outperforms several strong baselines. We also present extensive qualitative results demonstrating the nuances of the data.
updated: Thu Oct 31 2019 23:11:21 GMT+0000 (UTC)
published: Thu Oct 31 2019 23:11:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト