arXiv reaDer
On the Effect of Selfie Beautification Filters on Face Detection and Recognition
美化と拡張現実フィルターは、スマートフォンや個人用デバイスでキャプチャされたセルフィー画像を使用するアプリケーションで非常に人気があります。ただし、生体認証機能を歪めたり変更したりして、個人の身元を認識したり、顔を検出したりする機能に深刻な影響を与える可能性があります。したがって、自動化された顔の検出と認識の精度に対するそのようなフィルターの影響に対処します。調査されたソーシャルメディア画像フィルターは、画像のコントラストや照明を変更するか、人工眼鏡や動物の鼻などで顔の一部を遮ります。これらのフィルターのいくつかの効果は、特に目または(程度は少ないが)鼻を難読化する場合、顔検出と身元認識の両方に有害であることがわかります。このような影響を打ち消すために、U-NETセグメンテーションネットワークの修正バージョンを使用して、適用された操作を再構築する方法を開発します。これは、顔の検出と認識の精度の向上に寄与することが観察されています。認識の観点から、顔を認識するようにトレーニングされたResNet-34ネットワークを使用して抽出された特徴に適用される距離測度とトレーニングされた機械学習アルゴリズムを採用しています。また、フィルタリングされた画像を機械学習アプローチのトレーニングセットに組み込むことが、アイデンティティ認識に有益かどうかを評価します。私たちの結果は、フィルターが重要なランドマーク、特に目を遮らない場合に良好な認識を示しています(識別精度> 99%、EER <2%)。提案されたアプローチの複合効果により、顔の一部を遮るフィルターによって生成される効果を軽減することもでき、摂動の大部分を評価して92%を超える識別精度を達成し、EERを8%未満にします。改善の余地はありますが、U-NETの再構成もフィルター処理された画像によるトレーニングも適用されない場合、目をひどく閉塞するフィルターの精度は<72%(識別)および> 12%(EER)です。
Beautification and augmented reality filters are very popular in applications that use selfie images captured with smartphones or personal devices. However, they can distort or modify biometric features, severely affecting the capability of recognizing individuals' identity or even detecting the face. Accordingly, we address the effect of such filters on the accuracy of automated face detection and recognition. The social media image filters studied either modify the image contrast or illumination or occlude parts of the face with for example artificial glasses or animal noses. We observe that the effect of some of these filters is harmful both to face detection and identity recognition, specially if they obfuscate the eye or (to a lesser extent) the nose. To counteract such effect, we develop a method to reconstruct the applied manipulation with a modified version of the U-NET segmentation network. This is observed to contribute to a better face detection and recognition accuracy. From a recognition perspective, we employ distance measures and trained machine learning algorithms applied to features extracted using a ResNet-34 network trained to recognize faces. We also evaluate if incorporating filtered images to the training set of machine learning approaches are beneficial for identity recognition. Our results show good recognition when filters do not occlude important landmarks, specially the eyes (identification accuracy >99%, EER<2%). The combined effect of the proposed approaches also allow to mitigate the effect produced by filters that occlude parts of the face, achieving an identification accuracy of >92% with the majority of perturbations evaluated, and an EER <8%. Although there is room for improvement, when neither U-NET reconstruction nor training with filtered images is applied, the accuracy with filters that severely occlude the eye is <72% (identification) and >12% (EER)
updated: Wed Oct 20 2021 15:22:35 GMT+0000 (UTC)
published: Sun Oct 17 2021 22:10:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト