拡張された教育ビデオのセマンティックコンテンツをセグメント化するための新しい方法、およびインデックス付けと視覚化のための新しいユーザーインターフェイスを提供します。ビデオから一連のキーフレームが与えられると、メディアタイプと視覚的な類似性に従ってフレームをクラスタリングすることにより、データの要約ビューを生成します。さまざまな視覚フィルターを使用して、キーフレームに最初にメディアタイプ(ボード、クラス、コンピューター、イラスト、表彰台、およびシート)が割り当てられます。メディアタイプのボードとシートのキーフレームは、ほぼ線形のコストのアルゴリズムを介してコンテンツに基づいてクラスター化されます。 2つのユーザー調査の結果である新しいユーザーインターフェイスは、トポロジー的にリンクされたアイコンを使用して関連トピックを表示し、ユーザーがビデオの意味的に関連する部分をすばやく見つけることができるようにします。セグメンテーションツールの精度を17の教育用ビデオで分析します。各ビデオは75〜150分(合計40時間)です。分類精度は96%を超えています。
We present a new method for segmenting, and a new user interface for indexing and visualizing, the semantic content of extended instructional videos. Given a series of key frames from the video, we generate a condensed view of the data by clustering frames according to media type and visual similarities. Using various visual filters, key frames are first assigned a media type (board, class, computer, illustration, podium, and sheet). Key frames of media type board and sheet are then clustered based on contents via an algorithm with near-linear cost. A novel user interface, the result of two user studies, displays related topics using icons linked topologically, allowing users to quickly locate semantically related portions of the video. We analyze the accuracy of the segmentation tool on 17 instructional videos, each of which is from 75 to 150 minutes in duration (a total of 40 hours); the classification accuracy exceeds 96%.