オンラインマーケティングのソーシャルプラットフォームにビデオ広告を掲載する傾向が高まっており、広告の内容を効果的に理解するための自動アプローチが求められています。 2021年のTAAC競争を機会として、広告ビデオコンテンツの構造化分析の能力を向上させるマルチモーダルシステムを開発しました。私たちのフレームワークでは、ビデオ構造分析の問題を2つのタスク、つまりシーンのセグメンテーションとマルチモーダルタグ付けに分解します。シーンセグメンテーションでは、時間モデリング用の時間畳み込みモジュールに基づいて、隣接するフレームが同じシーンに属しているかどうかを予測します。マルチモーダルタグ付けでは、最初にフレームレベルの特徴をNeXt-SoftDBoFで集約することにより、クリップレベルの視覚的特徴を計算します。視覚的特徴は、OCR(光学式文字認識)およびASR(音声音声認識)出力から有用な情報を抽出するためにグローバルローカル注意メカニズムを使用して導出されたテキスト特徴によってさらに補完されます。私たちのソリューションは、ローカリゼーションと予測の精度を考慮して測定されたスコア0.2470を達成し、2021年のTAAC最終リーダーボードで4位にランクされました。
There is a growing trend in placing video advertisements on social platforms for online marketing, which demands automatic approaches to understand the contents of advertisements effectively. Taking the 2021 TAAC competition as an opportunity, we developed a multimodal system to improve the ability of structured analysis of advertising video content. In our framework, we break down the video structuring analysis problem into two tasks, i.e., scene segmentation and multi-modal tagging. In scene segmentation, we build upon a temporal convolution module for temporal modeling to predict whether adjacent frames belong to the same scene. In multi-modal tagging, we first compute clip-level visual features by aggregating frame-level features with NeXt-SoftDBoF. The visual features are further complemented with textual features that are derived using a global-local attention mechanism to extract useful information from OCR (Optical Character Recognition) and ASR (Audio Speech Recognition) outputs. Our solution achieved a score of 0.2470 measured in consideration of localization and prediction accuracy, ranking fourth in the 2021 TAAC final leaderboard.