arXiv reaDer
教師なし親族推定のための深い協調的マルチモーダル学習
Deep Collaborative Multi-Modal Learning for Unsupervised Kinship Estimation
親族関係の検証は、コンピュータービジョンにおける長年の研究課題です。顔に現れる視覚的な違いは、親族システムの認識能力に大きな影響を及ぼします。複数の視覚的知識を集約することで、正確な親族関係を特定するために対象の特徴をより適切に説明できると主張します。通常、年齢不変の特徴は、より自然な顔の詳細を表すことができます。このような加齢に伴う変化は、加齢の生物学的影響による顔認識に不可欠です。ただし、既存の方法は、主に親族の識別に単一ビューの画像特徴を使用することに焦点を当てていますが、人種や年齢などのより意味のある視覚的特性は、特徴学習ステップでは直接無視されます。この目的のために、効果的な教師なし親族検証のために顔の詳細を強化するために、顔のプロパティで提示された基礎となる情報を適応的に統合するための新しいディープコラボレーティブマルチモーダル学習(DCML)を提案します。具体的には、さまざまな視覚的観点から補完的なプロパティを共同で活用して複合機能を生成し、空間機能マップの最も有益なコンポーネントにより大きな注意を引くことができる、適切に設計された適応機能融合メカニズムを構築します。特に、適応型重み付け戦略は、チャネル内の情報の冗長性を自己適応的に減少させることにより、異なるプロパティ間の依存関係を強化できる新しい注意メカニズムに基づいて開発されています。提案された方法の有効性を検証するために、広く使用されている4つのデータセットに対して実施された広範な実験的評価により、DCML方法がいくつかの最先端の親族検証方法よりも常に優れていることが示されています。
Kinship verification is a long-standing research challenge in computer vision. The visual differences presented to the face have a significant effect on the recognition capabilities of the kinship systems. We argue that aggregating multiple visual knowledge can better describe the characteristics of the subject for precise kinship identification. Typically, the age-invariant features can represent more natural facial details. Such age-related transformations are essential for face recognition due to the biological effects of aging. However, the existing methods mainly focus on employing the single-view image features for kinship identification, while more meaningful visual properties such as race and age are directly ignored in the feature learning step. To this end, we propose a novel deep collaborative multi-modal learning (DCML) to integrate the underlying information presented in facial properties in an adaptive manner to strengthen the facial details for effective unsupervised kinship verification. Specifically, we construct a well-designed adaptive feature fusion mechanism, which can jointly leverage the complementary properties from different visual perspectives to produce composite features and draw greater attention to the most informative components of spatial feature maps. Particularly, an adaptive weighting strategy is developed based on a novel attention mechanism, which can enhance the dependencies between different properties by decreasing the information redundancy in channels in a self-adaptive manner. To validate the effectiveness of the proposed method, extensive experimental evaluations conducted on four widely-used datasets show that our DCML method is always superior to some state-of-the-art kinship verification methods.
updated: Tue Sep 07 2021 01:34:51 GMT+0000 (UTC)
published: Tue Sep 07 2021 01:34:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト