インターネット検索は人々の世界の認識に影響を与えるため、検索結果の偏りを緩和し、公正なモデルを学ぶことは社会的利益のために不可欠です。この作品では、画像検索における独自の性別バイアスを研究しています。検索画像は、性別に依存しない自然言語クエリでは、性別が不均衡であることがよくあります。 2つの典型的な画像検索モデルを診断します。ドメイン内データセットでトレーニングされた特殊なモデルと、インターネット上の大量の画像およびテキストデータで事前にトレーニングされた一般化された表現モデルです。どちらのモデルも深刻な性差別に苦しんでいます。したがって、2つの新しいバイアス除去アプローチを紹介します。トレーニングモデルの性別の不均衡の問題に対処するための処理中の公平なサンプリング方法と、事前トレーニングされたモデルのマルチモーダル表現をバイアス除去するための相互情報量に基づく後処理機能クリッピング方法です。 MS-COCOおよびFlickr30Kベンチマークに関する広範な実験は、私たちの方法が画像検索モデルの性別バイアスを大幅に削減することを示しています。
Internet search affects people's cognition of the world, so mitigating biases in search results and learning fair models is imperative for social good. We study a unique gender bias in image search in this work: the search images are often gender-imbalanced for gender-neutral natural language queries. We diagnose two typical image search models, the specialized model trained on in-domain datasets and the generalized representation model pre-trained on massive image and text data across the internet. Both models suffer from severe gender bias. Therefore, we introduce two novel debiasing approaches: an in-processing fair sampling method to address the gender imbalance issue for training models, and a post-processing feature clipping method base on mutual information to debias multimodal representations of pre-trained models. Extensive experiments on MS-COCO and Flickr30K benchmarks show that our methods significantly reduce the gender bias in image search models.