人間は間違いなくビデオ ストリームの最も重要な主題の 1 つであり、ビデオの要約やビデオ編集ワークフローなどの現実世界のアプリケーションの多くでは、関心のある人物の自動検索と取得が必要になることがよくあります。人物の再識別と検索の領域での多大な努力にもかかわらず、視聴覚検索戦略を開発した作品はほとんどありません。このペーパーでは、オーディオ (音声) ストリームとビジュアル (顔) ストリームに高密度の注釈が付けられたトリミングされていないビデオで構成される新しいデータセットである、視聴覚人物検索データセット (APES) を紹介します。 APES には、36 時間のビデオに沿ってラベル付けされた 1.9K を超える ID が含まれており、トリミングされていない視聴覚人物検索に利用できる最大のデータセットになります。 APES の重要な特性は、顔を同じアイデンティティの音声セグメントにリンクする高密度の時間的注釈が含まれていることです。新しいデータセットの可能性を示すために、人物検索のオーディオビジュアル ベースラインとベンチマークを提案します。私たちの研究は、視聴覚手がかりのモデル化が人々のアイデンティティの認識に役立つことを示しています。再現性を可能にし、将来の研究を促進するために、データセットの注釈とベースライン コードは、https://github.com/fuankarion/audiovisual-person-search で入手できます。
Humans are arguably one of the most important subjects in video streams, many real-world applications such as video summarization or video editing workflows often require the automatic search and retrieval of a person of interest. Despite tremendous efforts in the person reidentification and retrieval domains, few works have developed audiovisual search strategies. In this paper, we present the Audiovisual Person Search dataset (APES), a new dataset composed of untrimmed videos whose audio (voices) and visual (faces) streams are densely annotated. APES contains over 1.9K identities labeled along 36 hours of video, making it the largest dataset available for untrimmed audiovisual person search. A key property of APES is that it includes dense temporal annotations that link faces to speech segments of the same identity. To showcase the potential of our new dataset, we propose an audiovisual baseline and benchmark for person retrieval. Our study shows that modeling audiovisual cues benefits the recognition of people's identities. To enable reproducibility and promote future research, the dataset annotations and baseline code are available at: https://github.com/fuankarion/audiovisual-person-search