Ego4D エピソード記憶チャレンジ 2023 のアクション感性学習
Action Sensitivity Learning for the Ego4D Episodic Memory Challenge 2023
このレポートは、CVPR 2023 の Ego4D エピソード記憶ベンチマークの 2 つのトラック (自然言語クエリとモーメント クエリを含む) に対する ReLER の提出を示しています。このソリューションは、フレームの不一致情報をより適切に捕捉するために、私たちが提案したアクション感度学習フレームワーク (ASL) を継承しています。さらに、一連の強力なビデオ機能と融合戦略を組み込んでいます。私たちの手法は平均 mAP 29.34 を達成し、Moment Queries Challenge で 1 位にランクされ、平均 R1 19.79 を獲得して Natural Language Queries Challenge で 2 位になりました。私たちのコードが公開されます。
This report presents ReLER submission to two tracks in the Ego4D Episodic Memory Benchmark in CVPR 2023, including Natural Language Queries and Moment Queries. This solution inherits from our proposed Action Sensitivity Learning framework (ASL) to better capture discrepant information of frames. Further, we incorporate a series of stronger video features and fusion strategies. Our method achieves an average mAP of 29.34, ranking 1st in Moment Queries Challenge, and garners 19.79 mean R1, ranking 2nd in Natural Language Queries Challenge. Our code will be released.
updated: Thu Jun 15 2023 14:50:17 GMT+0000 (UTC)
published: Thu Jun 15 2023 14:50:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト