arXiv reaDer
エンターテインメントメディアの背景文字を検出するためのオーディオビジュアル文字プロファイル
Audio visual character profiles for detecting background characters in entertainment media
計算メディアインテリジェンスの本質的な目標は、ニュース、コマーシャル、エンターテインメントメディアなどのメディアストーリーが社会をどのように表現し反映しているかを理解し、これらの描写がどのように認識されるかを理解することです。人々はメディアストーリーの中心的な要素です。このペーパーでは、主に映画やテレビ番組などのメディア描写における背景キャラクターの表現と描写を理解することに焦点を当てています。背景キャラクターを、映画全体のどのシーンにも声を出して参加しない人物と定義し、ビデオ内の背景キャラクターのローカライズの問題に対処します。アクティブスピーカーローカリゼーションシステムを使用して、信頼性の高い顔と音声の関連付けを抽出し、自動的にクラスター化することで、映画の中で話しているキャラクターの視聴覚プロファイルを生成します。次に、顔検証システムを使用して、生成された文字プロファイルのいずれかに一致するすべての顔トラックを削除し、背景文字の顔トラックを取得します。一連のテレビ番組の背景文字の注釈を提供する背景文字データセットをキュレートし、それを使用して背景文字検出フレームワークのパフォーマンスを評価します。
An essential goal of computational media intelligence is to support understanding how media stories -- be it news, commercial or entertainment media -- represent and reflect society and these portrayals are perceived. People are a central element of media stories. This paper focuses on understanding the representation and depiction of background characters in media depictions, primarily movies and TV shows. We define the background characters as those who do not participate vocally in any scene throughout the movie and address the problem of localizing background characters in videos. We use an active speaker localization system to extract high-confidence face-speech associations and generate audio-visual profiles for talking characters in a movie by automatically clustering them. Using a face verification system, we then prune all the face-tracks which match any of the generated character profiles and obtain the background character face-tracks. We curate a background character dataset which provides annotations for background character for a set of TV shows, and use it to evaluate the performance of the background character detection framework.
updated: Mon Mar 21 2022 22:02:31 GMT+0000 (UTC)
published: Mon Mar 21 2022 22:02:31 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト