機械学習モデルは、データに存在するバイアスを永続させ、さらには増幅することが知られています。ただし、これらのデータバイアスは、モデルが展開されるまで明らかにならないことがよくあります。私たちの仕事はこの問題に取り組み、大規模なデータセットの先制分析を可能にします。 REVISE(REvealing VIsual biaSEs)は、視覚データセットの調査を支援するツールであり、(1)オブジェクトベース、(2)人ベース、(3)地理ベースの3つの次元に沿って潜在的なバイアスを明らかにします。オブジェクトベースのバイアスは、描写されたオブジェクトのサイズ、コンテキスト、または多様性に関連しています。個人ベースのメトリックは、データセット内の人々の描写を分析することに焦点を当てています。地理ベースの分析では、さまざまな地理的位置の表現が考慮されます。これらの3つの次元は、データセットにバイアスをかけるために相互作用する方法に深く絡み合っており、REVISEはこれに光を当てます。その場合、文化的および歴史的背景を考慮し、明らかにされたバイアスのどれが問題になる可能性があるかを判断する責任はユーザーにあります。このツールは、明らかになったバイアスを軽減するために実行可能な手順を提案することで、ユーザーをさらに支援します。全体として、私たちの仕事の主な目的は、パイプラインの早い段階で機械学習バイアスの問題に取り組むことです。 REVISEはhttps://github.com/princetonvisualai/revise-toolで入手できます。
Machine learning models are known to perpetuate and even amplify the biases present in the data. However, these data biases frequently do not become apparent until after the models are deployed. Our work tackles this issue and enables the preemptive analysis of large-scale datasets. REVISE (REvealing VIsual biaSEs) is a tool that assists in the investigation of a visual dataset, surfacing potential biases along three dimensions: (1) object-based, (2) person-based, and (3) geography-based. Object-based biases relate to the size, context, or diversity of the depicted objects. Person-based metrics focus on analyzing the portrayal of people within the dataset. Geography-based analyses consider the representation of different geographic locations. These three dimensions are deeply intertwined in how they interact to bias a dataset, and REVISE sheds light on this; the responsibility then lies with the user to consider the cultural and historical context, and to determine which of the revealed biases may be problematic. The tool further assists the user by suggesting actionable steps that may be taken to mitigate the revealed biases. Overall, the key aim of our work is to tackle the machine learning bias problem early in the pipeline. REVISE is available at https://github.com/princetonvisualai/revise-tool