arXiv reaDer
ワイルドマルチメディアの家族(FIW MM):親族関係を認識するためのマルチモーダルデータベース
Families In Wild Multimedia (FIW MM): A Multi-Modal Database for Recognizing Kinship
メディアで検出可能なソフトバイオメトリックであるKinshipは、無数のユースケースの基本です。親族関係を検出することは困難ですが、静止画像を使用した年次データの課題により、パフォーマンスが一貫して向上し、新しい研究者が集まりました。現在、システムは10年前に予測不可能なパフォーマンスレベルに達し、実際に展開できるパフォーマンスに近づいています。他の生体認証タスクと同様に、システムは追加のモダリティから利益を得ることができると期待しています。静止画像のみを含むFIWにモダリティを追加すると、パフォーマンスが向上すると仮定します。したがって、研究と現実の間のギャップを狭め、血縁認識システムの能力を強化するために、マルチメディア(MM)データ(つまり、ビデオ、オーディオ、およびテキストのキャプション)でFIWを拡張します。具体的には、最初の公開されたマルチタスクMM親族データセットを紹介します。 FIW MMを構築するために、データを自動的に収集、注釈付け、および準備するための機械を開発しました。これにより、最小限の人的入力と経済的コストが不要になります。提案されたMMコーパスにより、問題ステートメントをより現実的なテンプレートベースのプロトコルにすることができます。モダリティが追加されたことで、すべてのベンチマークで大幅な改善が見られます。結果は、さまざまな改善領域で将来の研究を刺激するエッジケースを強調しています。 FIW MMは、MMの親族関係を検出する自動システムの可能性を高めるために必要なデータを提供します。また、さまざまな分野の専門家が斬新な方法でコラボレーションすることもできます。
Kinship, a soft biometric detectable in media, is fundamental for a myriad of use-cases. Despite the difficulty of detecting kinship, annual data challenges using still-images have consistently improved performances and attracted new researchers. Now, systems reach performance levels unforeseeable a decade ago, closing in on performances acceptable to deploy in practice. Similar to other biometric tasks, we expect systems can benefit from additional modalities. We hypothesize that adding modalities to FIW, which contains only still-images, will improve performance. Thus, to narrow the gap between research and reality and enhance the power of kinship recognition systems, we extend FIW with multimedia (MM) data (i.e., video, audio, and text captions). Specifically, we introduce the first publicly available multi-task MM kinship dataset. To build FIW MM, we developed machinery to automatically collect, annotate, and prepare the data, requiring minimal human input and no financial cost. The proposed MM corpus allows the problem statements to be more realistic template-based protocols. We show significant improvements in all benchmarks with the added modalities. The results highlight edge cases to inspire future research with different areas of improvement. FIW MM provides the data required to increase the potential of automated systems to detect kinship in MM. It also allows experts from diverse fields to collaborate in novel ways.
updated: Tue Aug 03 2021 14:59:53 GMT+0000 (UTC)
published: Tue Jul 28 2020 22:36:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト