arXiv reaDer
Controllable Video Captioning with POS Sequence Guidance Based on Gated Fusion Network
  この論文では、入力ビデオの複数の表現のゲーテッドフュージョンに基づいて、品詞(POS)情報を使用してビデオキャプション生成をガイドすることを提案します。入力ビデオの動きやコンテンツの特徴など、さまざまなタイプの表現を効果的にエンコードおよび融合するために、1つの特別に設計されたクロスゲーティング(CG)ブロックを使用して、新しいゲートフュージョンネットワークを構築します1つのPOSシーケンスジェネレーターは、この融合表現に基づいてグローバルな構文構造を予測します。その後、この構造を活用して、ビデオキャプション生成をガイドし、生成された文の構文を制御します。具体的には、各単語を生成するためのデコーダにグローバルな構文POS情報を動的かつ適応的に組み込むためのゲーティング戦略が提案されています。 2つのベンチマークデータセット、つまりMSR-VTTとMSVDの実験結果は、提案されたモデルが複数の表現からの補完情報を十分に活用でき、パフォーマンスが向上することを示しています。さらに、生成されたグローバルなPOS情報は、文のグローバルな構文構造をうまくキャプチャできるため、記述の構文構造を制御するために活用できます。このようなPOS情報により、ビデオキャプションのパフォーマンスが向上するだけでなく、生成されるキャプションの多様性も向上します。コードはにあります。
In this paper, we propose to guide the video caption generation with Part-of-Speech (POS) information, based on a gated fusion of multiple representations of input videos. We construct a novel gated fusion network, with one particularly designed cross-gating (CG) block, to effectively encode and fuse different types of representations, e.g., the motion and content features of an input video. One POS sequence generator relies on this fused representation to predict the global syntactic structure, which is thereafter leveraged to guide the video captioning generation and control the syntax of the generated sentence. Specifically, a gating strategy is proposed to dynamically and adaptively incorporate the global syntactic POS information into the decoder for generating each word. Experimental results on two benchmark datasets, namely MSR-VTT and MSVD, demonstrate that the proposed model can well exploit complementary information from multiple representations, resulting in improved performances. Moreover, the generated global POS information can well capture the global syntactic structure of the sentence, and thus be exploited to control the syntactic structure of the description. Such POS information not only boosts the video captioning performance but also improves the diversity of the generated captions. Our code is at:
updated: Tue Aug 27 2019 08:22:54 GMT+0000 (UTC)
published: Tue Aug 27 2019 08:22:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト