arXiv reaDer
ライブ ビデオ コメント生成のための知識強化モデル
Knowledge Enhanced Model for Live Video Comment Generation
ライブ ビデオ コメントは、ビデオ メディア プラットフォームで人気があり、チャットの雰囲気を作り出し、ビデオを見ながらユーザーに補足情報を提供できます。ライブ ビデオ コメントを自動的に生成すると、ユーザー エクスペリエンスが向上し、人間のようなボット チャットの生成が可能になります。既存の作品は主に短いビデオ データセットに焦点を当てており、映画のような長いビデオなどの他の重要なビデオ タイプは無視しています。この作業では、新しいムービー ライブ コメント (MovieLC) データセットを収集して、長いビデオのライブ ビデオ コメント生成に関する研究をサポートします。また、ライブビデオコメントの発散的で有益な性質に触発された知識強化生成モデルも提案します。私たちのモデルは、事前トレーニングのエンコーダー/デコーダー フレームワークを採用し、外部の知識を組み込みます。広範な実験により、客観的な指標と人間による評価の両方が、提案されたモデルの有効性を示していることが示されています。 MovieLC データセットとコードがリリースされます。
Live video commenting is popular on video media platforms, as it can create a chatting atmosphere and provide supplementary information for users while watching videos. Automatically generating live video comments can improve user experience and enable human-like generation for bot chatting. Existing works mostly focus on short video datasets while ignoring other important video types such as long videos like movies. In this work, we collect a new Movie Live Comments (MovieLC) dataset to support research on live video comment generation for long videos. We also propose a knowledge enhanced generation model inspired by the divergent and informative nature of live video comments. Our model adopts a pre-training encoder-decoder framework and incorporates external knowledge. Extensive experiments show that both objective metrics and human evaluation demonstrate the effectiveness of our proposed model. The MovieLC dataset and our code will be released.
updated: Fri Apr 28 2023 07:03:50 GMT+0000 (UTC)
published: Fri Apr 28 2023 07:03:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト