arXiv reaDer
私の顔で私を判断しないでください:非同期ジョブビデオインタビューのマルチモーダルニューラル表現から機密情報を削除するための間接的な敵対的アプローチ
Don't Judge Me by My Face : An Indirect Adversarial Approach to Remove Sensitive Information From Multimodal Neural Representation in Asynchronous Job Video Interviews
最近、就職の面接ビデオを自動分析するための機械学習の関心が高まっています。候補者の性別や民族性などの機密情報に関する公正な出力の主張にもかかわらず、現在のアプローチは、偏りのない意思決定の証拠を提供することはめったにないか、機密情報が使用されていません。最近、敵対的な方法が、ニューラルネットワークの潜在的な表現から機密情報を効果的に削除することが証明されました。ただし、これらの方法は、明示的にラベル付けされた保護変数(性別など)の使用に依存しています。これは、一部の国(フランスなど)での採用のコンテキストでは収集できません。この記事では、機密変数を収集する必要なしに、ニューラルネットワークの潜在表現から機密情報を削除するための新しい敵対的アプローチを提案します。面接の数フレームのみを使用して、モデルの内層で就職の面接に関連する候補者の顔を見つけられないようにモデルをトレーニングします。これにより、これらのレイヤーから関連する個人情報を削除できます。性別と民族性の注釈を付けた公開データセットの標準ベースラインへのアプローチを比較すると、メインネットワークから機密情報が効果的に削除されることがわかります。さらに、私たちの知る限り、これはビデオ就職の面接の文脈でマルチモーダルな公正な表現を得るための敵対的な技術の最初のアプリケーションです。要約すると、私たちの貢献は、就職の選択の平等のために就職の面接のビデオを処理する今後の自動システムの公平性を向上させることを目的としています。
se of machine learning for automatic analysis of job interview videos has recently seen increased interest. Despite claims of fair output regarding sensitive information such as gender or ethnicity of the candidates, the current approaches rarely provide proof of unbiased decision-making, or that sensitive information is not used. Recently, adversarial methods have been proved to effectively remove sensitive information from the latent representation of neural networks. However, these methods rely on the use of explicitly labeled protected variables (e.g. gender), which cannot be collected in the context of recruiting in some countries (e.g. France). In this article, we propose a new adversarial approach to remove sensitive information from the latent representation of neural networks without the need to collect any sensitive variable. Using only a few frames of the interview, we train our model to not be able to find the face of the candidate related to the job interview in the inner layers of the model. This, in turn, allows us to remove relevant private information from these layers. Comparing our approach to a standard baseline on a public dataset with gender and ethnicity annotations, we show that it effectively removes sensitive information from the main network. Moreover, to the best of our knowledge, this is the first application of adversarial techniques for obtaining a multimodal fair representation in the context of video job interviews. In summary, our contributions aim at improving fairness of the upcoming automatic systems processing videos of job interviews for equality in job selection.
updated: Mon Oct 18 2021 15:53:15 GMT+0000 (UTC)
published: Mon Oct 18 2021 15:53:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト