このホワイトペーパーでは、オーディオとビジュアルのモダリティについて、ビデオからイベントを個別に区別するオーディオビジュアルビデオ解析(AVVP)タスクへの新しいアプローチを紹介します。提案された解析アプローチは、そのようなイベントの開始時間と終了時間の観点から時間的境界を同時に検出します。効果的なクロスモーダル学習に向けた次の手法からAVVPがどのように利益を得ることができるかを示します:(i)敵対的トレーニングとスキップ接続(ii)グローバルコンテキストアウェアアテンション、および(iii)オーディオビデオグラウンディング目的を使用した自己監視事前トレーニングクロスモーダルオーディオビデオ表現を取得します。 Look、Listen、およびParse(LLP)データセットに関する広範な実験的評価を提示し、AVVPに提案された5つのメトリックすべてで最先端のHybrid Attention Network(HAN)よりも優れていることを示します。また、事前トレーニング、グローバルな注意、敵対的なトレーニングの効果を検証するために、いくつかのアブレーションを提示します。
In this paper, we present a novel approach to the audio-visual video parsing (AVVP) task that demarcates events from a video separately for audio and visual modalities. The proposed parsing approach simultaneously detects the temporal boundaries in terms of start and end times of such events. We show how AVVP can benefit from the following techniques geared towards effective cross-modal learning: (i) adversarial training and skip connections (ii) global context aware attention and, (iii) self-supervised pretraining using an audio-video grounding objective to obtain cross-modal audio-video representations. We present extensive experimental evaluations on the Look, Listen, and Parse (LLP) dataset and show that we outperform the state-of-the-art Hybrid Attention Network (HAN) on all five metrics proposed for AVVP. We also present several ablations to validate the effect of pretraining, global attention and adversarial training.