監視シナリオでのソフトバイオメトリクス推論は、さまざまなアプリケーション、特にセキュリティ関連の分野で関心のあるトピックです。ただし、ソフトバイオメトリック分析は野生の条件で広く報告されていません。特に、性別認識に関するこれまでの研究では、顔のデータセットで結果が報告されており、画質と正面のポーズは比較的良好です。野生の状態での顔の領域の利用可能性の不確実性を考えると、これらの方法は監視設定には適切ではないと考えます。これらの制限を克服するために、次のことを行います。1)3つのよく知られた監視データセットの正面バージョンとワイルドフェイスバージョンを提示します。 2)顔と体の情報を効果的かつ動的に組み合わせ、野生の状態での性別認識に適したモデルを提案します。正面および野生の顔のデータセットは、広く使用されている歩行者属性認識(PAR)セット(PETA、PA-100K、およびRAP)から派生し、ポーズベースのアプローチを使用して正面のサンプルと顔の領域をフィルタリングします。このアプローチでは、最先端の顔検出器が失敗することが多い、さまざまな画像/被写体条件の画像の顔領域を取得します。私たちのモデルは、特定の画像/被写体の特徴に応じて最も影響力のある身体部分に焦点を当て、学習可能な融合マトリックスとチャネル注意サブネットワークを介して顔と身体の情報を組み合わせます。これを5つのPARメソッドと比較し、性別認識に関する最先端の結果を一貫して取得し、正面サンプルの予測誤差を最大24%削減します。発表されたPARデータセットのバージョンとモデルは、ワイルドソフトバイオメトリクス分類の基礎として機能し、https://github.com/Tiago-Roxoで入手できます。
Soft biometrics inference in surveillance scenarios is a topic of interest for various applications, particularly in security-related areas. However, soft biometric analysis is not extensively reported in wild conditions. In particular, previous works on gender recognition report their results in face datasets, with relatively good image quality and frontal poses. Given the uncertainty of the availability of the facial region in wild conditions, we consider that these methods are not adequate for surveillance settings. To overcome these limitations, we: 1) present frontal and wild face versions of three well-known surveillance datasets; and 2) propose a model that effectively and dynamically combines facial and body information, which makes it suitable for gender recognition in wild conditions. The frontal and wild face datasets derive from widely used Pedestrian Attribute Recognition (PAR) sets (PETA, PA-100K, and RAP), using a pose-based approach to filter the frontal samples and facial regions. This approach retrieves the facial region of images with varying image/subject conditions, where the state-of-the-art face detectors often fail. Our model combines facial and body information through a learnable fusion matrix and a channel-attention sub-network, focusing on the most influential body parts according to the specific image/subject features. We compare it with five PAR methods, consistently obtaining state-of-the-art results on gender recognition, and reducing the prediction errors by up to 24% in frontal samples. The announced PAR datasets versions and model serve as the basis for wild soft biometrics classification and are available in https://github.com/Tiago-Roxo.