arXiv reaDer
野生のマルチメディアの家族:親族関係を認識するためのマルチモーダルデータベース
Families In Wild Multimedia: A Multimodal Database for Recognizing Kinship
メディアで検出可能なソフトバイオメトリックであるKinshipは、無数のユースケースの基本です。親族関係を検出することは困難ですが、静止画像を使用した年次データの課題により、パフォーマンスが一貫して向上し、新しい研究者が集まりました。現在、システムは10年前に予測不可能なパフォーマンスレベルに達し、実際に展開できるパフォーマンスに近づいています。他の生体認証タスクと同様に、システムは他のモダリティから支援を受けることができると期待しています。静止画像しかないFIWにモダリティを追加すると、パフォーマンスが向上すると仮定します。したがって、研究と現実の間のギャップを狭め、血縁認識システムの能力を強化するために、マルチメディア(MM)データ(つまり、ビデオ、オーディオ、およびテキストのキャプション)でFIWを拡張します。具体的には、最初の公開されたマルチタスクMM親族データセットを紹介します。 FIW MMを構築するために、データを自動的に収集、注釈付け、および準備するための機械を開発しました。これにより、最小限の人的入力と経済的コストが不要になります。提案されたMMコーパスにより、問題ステートメントをより現実的なテンプレートベースのプロトコルにすることができます。モダリティが追加されたことで、すべてのベンチマークで大幅な改善が見られます。結果は、さまざまな改善領域で将来の研究を刺激するエッジケースを強調しています。 FIW MMは、MMの親族関係を検出する自動システムの可能性を高めるために必要なデータを提供します。また、さまざまな分野の専門家が斬新な方法でコラボレーションすることもできます。
Kinship, a soft biometric detectable in media, is fundamental for a myriad of use-cases. Despite the difficulty of detecting kinship, annual data challenges using still-images have consistently improved performances and attracted new researchers. Now, systems reach performance levels unforeseeable a decade ago, closing in on performances acceptable to deploy in practice. Like other biometric tasks, we expect systems can receive help from other modalities. We hypothesize that adding modalities to FIW, which has only still-images, will improve performance. Thus, to narrow the gap between research and reality and enhance the power of kinship recognition systems, we extend FIW with multimedia (MM) data (i.e., video, audio, and text captions). Specifically, we introduce the first publicly available multi-task MM kinship dataset. To build FIW MM, we developed machinery to automatically collect, annotate, and prepare the data, requiring minimal human input and no financial cost. The proposed MM corpus allows the problem statements to be more realistic template-based protocols. We show significant improvements in all benchmarks with the added modalities. The results highlight edge cases to inspire future research with different areas of improvement. FIW MM supplies the data needed to increase the potential of automated systems to detect kinship in MM. It also allows experts from diverse fields to collaborate in novel ways.
updated: Fri Oct 01 2021 20:16:01 GMT+0000 (UTC)
published: Tue Jul 28 2020 22:36:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト