arXiv reaDer
一般的なイベント境界検出用のマスクされたオートエンコーダCVPR'2022キネティクス-GEBDチャレンジ
Masked Autoencoders for Generic Event Boundary Detection CVPR'2022 Kinetics-GEBD Challenge
Generic Event Boundary Detection(GEBD)タスクは、ビデオ全体をチャンクにセグメント化する、分類法のない一般的なイベント境界を検出することを目的としています。このホワイトペーパーでは、マスクされたオートエンコーダを適用して、GEBDタスクのアルゴリズムパフォーマンスを向上させます。私たちのアプローチは、主に、他の基本モデルを使用した自己監視学習者として、GEBDタスクで微調整されたマスクされたオートエンコーダーのアンサンブルを採用しました。さらに、半教師あり疑似ラベル法を使用して、トレーニング中に豊富なラベルなしのKinetics-400データを最大限に活用します。さらに、ポジティブサンプルとネガティブサンプルのバランスを部分的に取り、このタスクでのあいまいなラベル付けの問題を軽減するためのソフトラベル付け方法を提案します。最後に、トリッキーなセグメンテーションアライメントポリシーを実装して、モデルによって予測された境界をより正確な場所に絞り込みます。私たちのアプローチでは、Kinetics-GEBDテストセットのF1スコアで85.94%を達成しました。これにより、2021 Kinetics-GEBDチャレンジの勝者と比較してF1スコアが2.31%向上しました。私たちのコードはhttps://github.com/ContentAndMaterialPortrait/MAE-GEBDで入手できます。
Generic Event Boundary Detection (GEBD) tasks aim at detecting generic, taxonomy-free event boundaries that segment a whole video into chunks. In this paper, we apply Masked Autoencoders to improve algorithm performance on the GEBD tasks. Our approach mainly adopted the ensemble of Masked Autoencoders fine-tuned on the GEBD task as a self-supervised learner with other base models. Moreover, we also use a semi-supervised pseudo-label method to take full advantage of the abundant unlabeled Kinetics-400 data while training. In addition, we propose a soft-label method to partially balance the positive and negative samples and alleviate the problem of ambiguous labeling in this task. Lastly, a tricky segmentation alignment policy is implemented to refine boundaries predicted by our models to more accurate locations. With our approach, we achieved 85.94% on the F1-score on the Kinetics-GEBD test set, which improved the F1-score by 2.31% compared to the winner of the 2021 Kinetics-GEBD Challenge. Our code is available at https://github.com/ContentAndMaterialPortrait/MAE-GEBD.
updated: Fri Jun 17 2022 08:10:27 GMT+0000 (UTC)
published: Fri Jun 17 2022 08:10:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト