最近のパンデミックの時期には、マスクの使用回数が増えるにつれ、顔の画像が遮られていても人物の識別が非常に重要になっています。この論文は、顔画像における4つのタイプのうちの1つのオクルージョンを認識することを目的としています。さまざまな転送学習方法がテストされ、その結果は、ゲート付き回帰ユニット(GRU)を備えたMobileNet V2が、他の転送学習方法よりも優れたパフォーマンスを示し、画像のオクルージョンありまたはなし、およびオクルージョンありの分類で99%の完全な精度を示しています。 、次に閉塞のタイプ。並行して、デバイスでキャプチャされた画像から関心領域を識別します。この抽出された関心領域は、顔識別に利用されます。このような顔識別プロセスは、Caffe実装を備えたResNetモデルを使用して行われます。実行時間を短縮するために、顔の閉塞タイプが認識された後、登録されたデータベースで顔の画像を確認するために人物が検索されました。両方の同時プロセスから得られた人物の顔ラベルは、それらの一致スコアについて検証されました。一致スコアが90を超えた場合、その人物の認識されたラベルが、名前、マスクのタイプ、日付、および認識時刻とともにファイルに記録されました。 MobileNetV2は軽量のフレームワークであり、組み込みデバイスまたはIoTデバイスで使用して、CCTV映像を使用した疑わしい調査領域でリアルタイムの検出と識別を実行することもできます。 MobileNetV2をGRUと組み合わせると、信頼できる精度が得られました。論文で提供されるデータは、閉塞分類、顔認識、顔のランドマークのためにGoogle画像検索から収集されるか、フィールドワークで収集される2つのカテゴリに属します。この調査の背後にある動機は、社会ベースの電子統治における監視活動に役立つ可能性のある人物の詳細を特定して記録することです。
Recent period of pandemic has brought person identification even with occluded face image a great importance with increased number of mask usage. This paper aims to recognize the occlusion of one of four types in face images. Various transfer learning methods were tested, and the results show that MobileNet V2 with Gated Recurrent Unit(GRU) performs better than any other Transfer Learning methods, with a perfect accuracy of 99% in classification of images as with or without occlusion and if with occlusion, then the type of occlusion. In parallel, identifying the Region of interest from the device captured image is done. This extracted Region of interest is utilised in face identification. Such a face identification process is done using the ResNet model with its Caffe implementation. To reduce the execution time, after the face occlusion type was recognized the person was searched to confirm their face image in the registered database. The face label of the person obtained from both simultaneous processes was verified for their matching score. If the matching score was above 90, the recognized label of the person was logged into a file with their name, type of mask, date, and time of recognition. MobileNetV2 is a lightweight framework which can also be used in embedded or IoT devices to perform real time detection and identification in suspicious areas of investigations using CCTV footages. When MobileNetV2 was combined with GRU, a reliable accuracy was obtained. The data provided in the paper belong to two categories, being either collected from Google Images for occlusion classification, face recognition, and facial landmarks, or collected in fieldwork. The motive behind this research is to identify and log person details which could serve surveillance activities in society-based e-governance.