arXiv reaDer
Hybrid Reasoning Network for Video-based Commonsense Captioning
ビデオベースの常識的なキャプションのタスクは、イベントごとのキャプションを生成すると同時に、ビデオの基になるイベントに関する複数の常識的な説明(属性、効果、意図など)を提供することを目的としています。以前の作品は、さまざまな常識の種類に別々のネットワークを使用することによって常識のキャプションを調査します。これは時間がかかり、さまざまな常識の相互作用をマイニングする必要がありません。この論文では、ニューラルネットワークに意味レベルの推論と単語レベルの推論の機能を与えるために、ハイブリッド推論ネットワーク(HybridNet)を提案します。まず、統合ネットワークでさまざまな常識タイプを共同でトレーニングすることにより、セマンティックレベルの推論のためのマルチ常識学習を開発します。これにより、複数の常識の説明、イベントごとのキャプション、およびビデオの手がかり間の相互作用が促進されます。次に、単語レベルの推論を実現するための2つのステップがあります。(1)メモリモジュールは、前の世代のプロセスからの履歴予測シーケンスを記録します。 (2)メモリルーティングマルチヘッドアテンション(MMHA)モジュールは、メモリモジュールからの履歴情報をワードレベルの推論のためにトランスフォーマデコーダに組み込むことにより、ワードレベルのアテンションマップを更新します。さらに、マルチモーダル機能は、常識的な推論のために多様な知識を最大限に活用するために使用されます。大規模なVideo-to-Commonsenseベンチマークに関する実験と豊富な分析は、HybridNetが他の方法と比較して最先端のパフォーマンスを達成していることを示しています。
The task of video-based commonsense captioning aims to generate event-wise captions and meanwhile provide multiple commonsense descriptions (e.g., attribute, effect and intention) about the underlying event in the video. Prior works explore the commonsense captions by using separate networks for different commonsense types, which is time-consuming and lacks mining the interaction of different commonsense. In this paper, we propose a Hybrid Reasoning Network (HybridNet) to endow the neural networks with the capability of semantic-level reasoning and word-level reasoning. Firstly, we develop multi-commonsense learning for semantic-level reasoning by jointly training different commonsense types in a unified network, which encourages the interaction between the clues of multiple commonsense descriptions, event-wise captions and videos. Then, there are two steps to achieve the word-level reasoning: (1) a memory module records the history predicted sequence from the previous generation processes; (2) a memory-routed multi-head attention (MMHA) module updates the word-level attention maps by incorporating the history information from the memory module into the transformer decoder for word-level reasoning. Moreover, the multimodal features are used to make full use of diverse knowledge for commonsense reasoning. Experiments and abundant analysis on the large-scale Video-to-Commonsense benchmark show that our HybridNet achieves state-of-the-art performance compared with other methods.
updated: Thu Aug 05 2021 04:55:51 GMT+0000 (UTC)
published: Thu Aug 05 2021 04:55:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト