画像のキャプションは、視覚的推論のベンチマークを行い、視覚障害を持つ人々のアクセシビリティを可能にするための重要なタスクです。ただし、多くの機械学習設定と同様に、社会的バイアスは望ましくない方法で画像のキャプションに影響を与える可能性があります。この作業では、特にCOCOデータセットに焦点を当てて、画像キャプション内のバイアス伝播経路を研究します。以前の研究では、自動的に導出された性別ラベルを使用して、キャプションの性別バイアスを分析しました。ここでは、手動の注釈を使用して人種的および交差するバイアスを調べます。私たちの最初の貢献は、IRBの承認を得た後、描かれた人々の28,315人の知覚された性別と肌の色に注釈を付けることです。これらの注釈を使用して、手動と自動生成の両方の画像キャプションに存在する人種的バイアスを比較します。肌の色が薄い人と肌の色が濃い人の画像間で、キャプションのパフォーマンス、感情、単語の選択の違いを示します。さらに、これらの違いの大きさは、古いものと比較して最新のキャプションシステムの方が大きいことがわかります。したがって、適切な検討と緩和がなければ、これらの違いはますます一般的になるだけであるという懸念につながります。コードとデータはhttps://princetonvisualai.github.io/imagecaptioning-biasで入手できます。
Image captioning is an important task for benchmarking visual reasoning and for enabling accessibility for people with vision impairments. However, as in many machine learning settings, social biases can influence image captioning in undesirable ways. In this work, we study bias propagation pathways within image captioning, focusing specifically on the COCO dataset. Prior work has analyzed gender bias in captions using automatically-derived gender labels; here we examine racial and intersectional biases using manual annotations. Our first contribution is in annotating the perceived gender and skin color of 28,315 of the depicted people after obtaining IRB approval. Using these annotations, we compare racial biases present in both manual and automatically-generated image captions. We demonstrate differences in caption performance, sentiment, and word choice between images of lighter versus darker-skinned people. Further, we find the magnitude of these differences to be greater in modern captioning systems compared to older ones, thus leading to concerns that without proper consideration and mitigation these differences will only become increasingly prevalent. Code and data is available at https://princetonvisualai.github.io/imagecaptioning-bias .