急速に進化するインターネット技術と新しいツールにより、オンラインで生成されるスポーツ関連のビデオは、かつてないほど速いペースで増加しています。スポーツビデオの編集/ハイライト生成プロセスを自動化するための重要なタスクは、トリミングされていない長いビデオのイベントを正確に認識して特定することです。この技術レポートでは、サッカーの放送ビデオでイベントがいつ何が発生するかを検出するための2段階のパラダイムを紹介します。具体的には、サッカーデータの複数のアクション認識モデルを微調整して高レベルのセマンティック機能を抽出し、トランスフォーマーベースの時間検出モジュールを設計してターゲットイベントを特定します。このアプローチは、CVPR 2021 ActivityNetワークショップの下でのSoccerNet-v2チャレンジで、2つのタスク、つまりアクションスポッティングとリプレイグラウンディングの両方で最先端のパフォーマンスを達成しました。サッカーの埋め込み機能はhttps://github.com/baidu-research/vidpress-sportsでリリースされています。これらの機能をより広いコミュニティと共有することで、サッカービデオの理解に関する研究を加速させたいと考えています。
With rapidly evolving internet technologies and emerging tools, sports related videos generated online are increasing at an unprecedentedly fast pace. To automate sports video editing/highlight generation process, a key task is to precisely recognize and locate the events in the long untrimmed videos. In this tech report, we present a two-stage paradigm to detect what and when events happen in soccer broadcast videos. Specifically, we fine-tune multiple action recognition models on soccer data to extract high-level semantic features, and design a transformer based temporal detection module to locate the target events. This approach achieved the state-of-the-art performance in both two tasks, i.e., action spotting and replay grounding, in the SoccerNet-v2 Challenge, under CVPR 2021 ActivityNet workshop. Our soccer embedding features are released at https://github.com/baidu-research/vidpress-sports. By sharing these features with the broader community, we hope to accelerate the research into soccer video understanding.