この作品の目的は、ビデオでの人物のクラスタリング、つまりキャラクターをアイデンティティに従ってグループ化することです。以前の方法は、顔のクラスタリングというより狭いタスクに焦点を合わせており、ほとんどの場合、人の声、全体的な外観(髪、服、姿勢)、ビデオの編集構造などの他の手がかりを無視します。同様に、現在のほとんどのデータセットは、人物クラスタリングではなく、顔クラスタリングのタスクのみを評価します。これは、顔レベルの推論だけでなく、個人レベルの推論を必要とするストーリー理解などのダウンストリームアプリケーションへの適用を制限します。この論文では、これら両方の欠陥に対処するために貢献します。最初に、いくつかのモダリティ(顔、体、声)からの手がかりを使用して、ビデオの人物クラスタリングのためのマルチモーダル高精度クラスタリングアルゴリズムを紹介します。次に、マルチモーダルな人物クラスタリングを評価するためのビデオ人物クラスタリングデータセットを紹介します。注釈付きの各キャラクターのボディトラック、表示されている場合はフェイストラック、話している場合はボイストラックが、関連する機能とともに含まれています。データセットはこの種のものとしては群を抜いて最大であり、幅広い人口統計を表す映画やテレビ番組をカバーしています。最後に、人物クラスタリングに複数のモダリティを使用することの有効性を示し、キャラクターの共起によるストーリー理解のためのこの新しい幅広いタスクの使用を検討し、顔と人物のクラスタリングに利用可能なすべてのデータセットで新しい最先端を実現します。
The objective of this work is person-clustering in videos -- grouping characters according to their identity. Previous methods focus on the narrower task of face-clustering, and for the most part ignore other cues such as the person's voice, their overall appearance (hair, clothes, posture), and the editing structure of the videos. Similarly, most current datasets evaluate only the task of face-clustering, rather than person-clustering. This limits their applicability to downstream applications such as story understanding which require person-level, rather than only face-level, reasoning. In this paper we make contributions to address both these deficiencies: first, we introduce a Multi-Modal High-Precision Clustering algorithm for person-clustering in videos using cues from several modalities (face, body, and voice). Second, we introduce a Video Person-Clustering dataset, for evaluating multi-modal person-clustering. It contains body-tracks for each annotated character, face-tracks when visible, and voice-tracks when speaking, with their associated features. The dataset is by far the largest of its kind, and covers films and TV-shows representing a wide range of demographics. Finally, we show the effectiveness of using multiple modalities for person-clustering, explore the use of this new broad task for story understanding through character co-occurrences, and achieve a new state of the art on all available datasets for face and person-clustering.