機械学習コミュニティの大部分にとって、高品質の人間が注釈を付けたデータを収集することの高価な性質と、限られたコンピューティングで非常に大規模な最先端の事前トレーニング済みモデルを効率的に微調整できないことは、新しいタスク用のモデルを構築する際の主要なボトルネックです。 .そのようなタスクの 1 つである Video Moment Retrieval (VMR) に対してゼロショットのシンプルなアプローチを提案します。これは、追加の微調整を実行せず、他のタスクでトレーニングされた既製のモデルを単に転用するだけです。私たちの 3 ステップのアプローチは、モーメント提案、モーメント クエリ マッチング、および後処理で構成され、すべて既製のモデルのみを使用します。 VMR の QVHighlights ベンチマークでは、以前のゼロ ショット アプローチのパフォーマンスをすべての指標で少なくとも 2.5 倍に大幅に改善し、ゼロ ショットと最新の監督下のギャップを 74% 以上縮小しました。さらに、ゼロ ショット アプローチは、リコール メトリックで事前トレーニングされていない教師ありモデルを上回り、mAP メトリックで非常に近いことも示しています。また、より短いモーメントでは、事前トレーニングされた最高の教師ありモデルよりも優れたパフォーマンスを発揮します。最後に、結果を除去して分析し、興味深い将来の方向性を提案します。
For the majority of the machine learning community, the expensive nature of collecting high-quality human-annotated data and the inability to efficiently finetune very large state-of-the-art pretrained models on limited compute are major bottlenecks for building models for new tasks. We propose a zero-shot simple approach for one such task, Video Moment Retrieval (VMR), that does not perform any additional finetuning and simply repurposes off-the-shelf models trained on other tasks. Our three-step approach consists of moment proposal, moment-query matching and postprocessing, all using only off-the-shelf models. On the QVHighlights benchmark for VMR, we vastly improve performance of previous zero-shot approaches by at least 2.5x on all metrics and reduce the gap between zero-shot and state-of-the-art supervised by over 74%. Further, we also show that our zero-shot approach beats non-pretrained supervised models on the Recall metrics and comes very close on mAP metrics; and that it also performs better than the best pretrained supervised model on shorter moments. Finally, we ablate and analyze our results and propose interesting future directions.