arXiv reaDer
Low-Rank HOCA: Efficient High-Order Cross-Modal Attention for Video Captioning
 このホワイトペーパーでは、ビデオデータの説明を生成することを目的としたビデオキャプションの課題に取り組んでいます。最近、注意に基づくエンコーダーデコーダー構造がビデオキャプションで広く使用されています。既存の文献では、注意の重みは多くの場合、個々のモダリティの情報から作成されますが、複数のモダリティ間の関連関係は無視されます。この観察によって動機付けられ、我々は、高次の相関モーダル(HOCA)を用いたビデオキャプションモデルを提案します。 。さらに、HOCAの非常に大きなスペース要件を削減するために、テンソル分解を採用した低ランクHOCAを新たに導入し、実際のアプリケーションでの実用的かつ効率的な実装を実現します。 2つのベンチマークデータセット、MSVDとMSR-VTTの実験結果は、低ランクHOCAが新しい最先端を確立することを示しています。
This paper addresses the challenging task of video captioning which aims to generate descriptions for video data. Recently, the attention-based encoder-decoder structures have been widely used in video captioning. In existing literature, the attention weights are often built from the information of an individual modality, while, the association relationships between multiple modalities are neglected. Motivated by this observation, we propose a video captioning model with High-Order Cross-Modal Attention (HOCA) where the attention weights are calculated based on the high-order correlation tensor to capture the frame-level cross-modal interaction of different modalities sufficiently. Furthermore, we novelly introduce Low-Rank HOCA which adopts tensor decomposition to reduce the extremely large space requirement of HOCA, leading to a practical and efficient implementation in real-world applications. Experimental results on two benchmark datasets, MSVD and MSR-VTT, show that Low-rank HOCA establishes a new state-of-the-art.
updated: Fri Nov 01 2019 05:53:50 GMT+0000 (UTC)
published: Fri Nov 01 2019 05:53:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト