一般的なイベント境界の検出は、人間がイベント境界を自然に知覚する瞬間を検出することを目的とした、ビデオ理解における重要でありながら挑戦的なタスクです。このタスクの主な課題は、さまざまなイベント境界のさまざまな時間的変化を認識することです。この目的のために、このペーパーでは、効果的でエンドツーエンドの学習可能なフレームワーク(DDM-Net)を紹介します。イベント境界の多様性と複雑なセマンティクスに取り組むために、3つの注目すべき改善を行います。まず、複数のスケールでの差の計算に備えて、空間と時間のマルチレベルの特徴を格納する特徴バンクを構築します。第二に、以前の方法の不十分な時間的モデリングを軽減するために、モーションパターンを包括的に特徴づけるための高密度差分マップ(DDM)を提示します。最後に、マルチレベルDDMの進歩的な注意を利用して、外観と動きの手がかりを共同で集約します。その結果、DDM-Netは、Kinetics-GEBDおよびTAPOSベンチマークでそれぞれ14%および8%の大幅なブーストを達成し、ベルやホイッスルなしでLOVEU Challenge @ CVPR2021のトップ1の勝者ソリューションを上回ります。最先端の結果は、一般的なイベント境界検出の多様性を処理する上で、より豊富なモーション表現とより洗練された集約の有効性を示しています。私たちのコードはまもなく利用可能になります。
Generic event boundary detection is an important yet challenging task in video understanding, which aims at detecting the moments where humans naturally perceive event boundaries. The main challenge of this task is perceiving various temporal variations of diverse event boundaries. To this end, this paper presents an effective and end-to-end learnable framework (DDM-Net). To tackle the diversity and complicated semantics of event boundaries, we make three notable improvements. First, we construct a feature bank to store multi-level features of space and time, prepared for difference calculation at multiple scales. Second, to alleviate inadequate temporal modeling of previous methods, we present dense difference maps (DDM) to comprehensively characterize the motion pattern. Finally, we exploit progressive attention on multi-level DDM to jointly aggregate appearance and motion clues. As a result, DDM-Net respectively achieves a significant boost of 14% and 8% on Kinetics-GEBD and TAPOS benchmark, and outperforms the top-1 winner solution of LOVEU Challenge@CVPR 2021 without bells and whistles. The state-of-the-art result demonstrates the effectiveness of richer motion representation and more sophisticated aggregation, in handling the diversity of generic event boundary detection. Our codes will be made available soon.