コンテンツベースのビデオ取得(CBVR)は、ビデオの推奨やフィルタリングなどのアプリケーションのメディア共有プラットフォームで使用されます。数十億のビデオに拡張するデータベースを管理するには、効率が高いため、固定サイズの埋め込みを使用するビデオレベルのアプローチが推奨されます。この論文では、最先端のビデオレベルの方法を改善するビデオ領域注意グラフネットワーク(VRAG)を紹介します。リージョンレベルの機能を介してビデオをより細かく表現し、リージョンレベルの関係を介してビデオの時空間ダイナミクスをエンコードします。私たちのVRAGは、自己注意とグラフ畳み込みの順列不変集約を介して、セマンティックコンテンツに基づいて領域間の関係をキャプチャします。さらに、ビデオをショットにセグメント化し、ビデオの取得にショットの埋め込みを使用することで、ビデオレベルとフレームレベルの方法の間のパフォーマンスのギャップを減らすことができることを示します。いくつかのビデオ検索タスクでVRAGを評価し、ビデオレベルの検索のための新しい最先端技術を実現します。さらに、ショットレベルのVRAGは、他の既存のビデオレベルの方法よりも高い検索精度を示し、より高速な評価速度でフレームレベルの方法に近いパフォーマンスを示します。最後に、コードが公開されます。
Content-based Video Retrieval (CBVR) is used on media-sharing platforms for applications such as video recommendation and filtering. To manage databases that scale to billions of videos, video-level approaches that use fixed-size embeddings are preferred due to their efficiency. In this paper, we introduce Video Region Attention Graph Networks (VRAG) that improves the state-of-the-art of video-level methods. We represent videos at a finer granularity via region-level features and encode video spatio-temporal dynamics through region-level relations. Our VRAG captures the relationships between regions based on their semantic content via self-attention and the permutation invariant aggregation of Graph Convolution. In addition, we show that the performance gap between video-level and frame-level methods can be reduced by segmenting videos into shots and using shot embeddings for video retrieval. We evaluate our VRAG over several video retrieval tasks and achieve a new state-of-the-art for video-level retrieval. Furthermore, our shot-level VRAG shows higher retrieval precision than other existing video-level methods, and closer performance to frame-level methods at faster evaluation speeds. Finally, our code will be made publicly available.