arXiv reaDer
ロボットは悪性のステレオタイプを制定する
Robots Enact Malignant Stereotypes
ステレオタイプ、バイアス、および識別は、コンピュータービジョン(CV)[18、80]、自然言語処理(NLP)[6]、またはその両方など、大きな画像の場合は機械学習(ML)メソッドで広く文書化されています。 OpenAICLIP[14]などのキャプションモデル。この論文では、MLバイアスが世界内で物理的および自律的に動作するロボットにどのように現れるかを評価します。最近公開されたCLIPを利用したロボット操作方法の1つを監査し、人種や性別によって異なる人間の顔の写真が表面にあるオブジェクトと、一般的なステレオタイプに関連する用語を含むタスクの説明を提示します。私たちの実験は、ロボットが性別、人種、科学的に信用されていない人相に関して有毒なステレオタイプを大規模に演じていることを明確に示しています。さらに、監査された方法は、女性と有色人種を認識する可能性が低くなります。私たちの学際的な社会技術分析は、科学技術社会論(STS)、批判的研究、歴史、安全性、ロボット工学、AIなどの分野とアプリケーションを統合します。人間を含む大規模なデータセットと溶解モデル(CLIPなどの「基礎モデル」と呼ばれることもあります)を搭載したロボットは、一般に悪性のステレオタイプを物理的に増幅するリスクがあることがわかりました。そして、単に格差を修正するだけでは、問題の複雑さと規模には不十分です。代わりに、ステレオタイプやその他の有害な結果を物理的に示すロボット学習方法を、結果が安全で効果的かつ公正であることが証明されるまで、一時停止、やり直し、または必要に応じて終了することをお勧めします。最後に、包括的なポリシーの変更と、アイデンティティ安全性評価フレームワークやデザインジャスティスなどのトピックに関する新しい学際的研究の可能性について説明し、これらの害をよりよく理解して対処します。
Stereotypes, bias, and discrimination have been extensively documented in Machine Learning (ML) methods such as Computer Vision (CV) [18, 80], Natural Language Processing (NLP) [6], or both, in the case of large image and caption models such as OpenAI CLIP [14]. In this paper, we evaluate how ML bias manifests in robots that physically and autonomously act within the world. We audit one of several recently published CLIP-powered robotic manipulation methods, presenting it with objects that have pictures of human faces on the surface which vary across race and gender, alongside task descriptions that contain terms associated with common stereotypes. Our experiments definitively show robots acting out toxic stereotypes with respect to gender, race, and scientifically-discredited physiognomy, at scale. Furthermore, the audited methods are less likely to recognize Women and People of Color. Our interdisciplinary sociotechnical analysis synthesizes across fields and applications such as Science Technology and Society (STS), Critical Studies, History, Safety, Robotics, and AI. We find that robots powered by large datasets and Dissolution Models (sometimes called "foundation models", e.g. CLIP) that contain humans risk physically amplifying malignant stereotypes in general; and that merely correcting disparities will be insufficient for the complexity and scale of the problem. Instead, we recommend that robot learning methods that physically manifest stereotypes or other harmful outcomes be paused, reworked, or even wound down when appropriate, until outcomes can be proven safe, effective, and just. Finally, we discuss comprehensive policy changes and the potential of new interdisciplinary research on topics like Identity Safety Assessment Frameworks and Design Justice to better understand and address these harms.
updated: Sat Jul 23 2022 18:08:12 GMT+0000 (UTC)
published: Sat Jul 23 2022 18:08:12 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト