arXiv reaDer
スケジュールされたサンプリングでトレーニングされたセマンティクス支援ビデオキャプションモデル
A Semantics-Assisted Video Captioning Model Trained with Scheduled Sampling
ビデオの機能を考えると、リカレントニューラルネットワークを使用して、ビデオのキャプションを自動的に生成できます。ビデオキャプションの既存の方法には、少なくとも3つの制限があります。まず、セマンティック情報はビデオキャプションモデルのパフォーマンスを高めるために広く適用されていますが、既存のネットワークは意味のあるセマンティック機能を提供できないことがよくあります。次に、教師の強制アルゴリズムはビデオキャプションモデルを最適化するためによく使用されますが、トレーニングと推論の間、さまざまな戦略が単語生成のガイドに適用され、パフォーマンスの低下につながります。第3に、現在のビデオキャプションモデルは、ビデオコンテンツを不適切に表現する比較的短いキャプションを生成する傾向があります。これら3つの問題の解決に向けて、3つの対応する改善を提案します。まず、意味的特徴の品質を比較するメトリックを提案し、適切な特徴を適切な複雑さを持つ意味的検出ネットワーク(SDN)の入力として利用して、ビデオに意味のある意味的特徴を生成します。次に、トレーニングフェーズを教師が指導する方法からより独習的な方法に徐々に移行する、スケジュールされたサンプリング戦略を適用します。最後に、通常の対数確率損失関数が文の長さによって活用されるため、短い文を生成する傾向が緩和されます。私たちのモデルは、YouTube2Textデータセットの以前のモデルよりも優れた結果を達成し、MSR-VTTデータセットの以前の最高のモデルと競合しています。
Given the features of a video, recurrent neural networks can be used to automatically generate a caption for the video. Existing methods for video captioning have at least three limitations. First, semantic information has been widely applied to boost the performance of video captioning models, but existing networks often fail to provide meaningful semantic features. Second, the Teacher Forcing algorithm is often utilized to optimize video captioning models, but during training and inference, different strategies are applied to guide word generation, leading to poor performance. Third, current video captioning models are prone to generate relatively short captions that express video contents inappropriately. Toward resolving these three problems, we suggest three corresponding improvements. First of all, we propose a metric to compare the quality of semantic features, and utilize appropriate features as input for a semantic detection network (SDN) with adequate complexity in order to generate meaningful semantic features for videos. Then, we apply a scheduled sampling strategy that gradually transfers the training phase from a teacher-guided manner toward a more self-teaching manner. Finally, the ordinary logarithm probability loss function is leveraged by sentence length so that the inclination of generating short sentences is alleviated. Our model achieves better results than previous models on the YouTube2Text dataset and is competitive with the previous best model on the MSR-VTT dataset.
updated: Fri Jul 24 2020 08:01:29 GMT+0000 (UTC)
published: Sat Aug 31 2019 04:01:38 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト