Web ビデオの爆発的な成長と、CLIP などの大規模な視覚言語事前トレーニング モデルの登場により、テキストによる指示で関心のあるビデオを検索することがますます注目を集めています。一般的な方法は、テキストとビデオのペアを同じ埋め込みスペースに転送し、セマンティック対応のために特定の粒度で特定のエンティティとのクロスモーダル インタラクションを作成することです。残念ながら、クロスモーダル クエリの適切な粒度での最適なエンティティの組み合わせの固有の不確実性は十分に研究されていません。これは、ビデオ、テキストなどの階層的なセマンティクスを持つモダリティにとって特に重要です。 UATVR と呼ばれるビデオ検索アプローチ。各ルックアップを分布マッチング手順としてモデル化します。具体的には、エンコーダーに追加の学習可能なトークンを追加して、柔軟な高レベルの推論のためにマルチグレインセマンティクスを適応的に集約します。洗練された埋め込みスペースでは、テキストとビデオのペアを確率分布として表し、プロトタイプがマッチング評価のためにサンプリングされます。 4 つのベンチマークでの包括的な実験は、MSR-VTT (50.8%)、VATEX (64.5%)、MSVD (49.7%)、および DiDeMo (45.8%) で新しい最先端の結果を達成する UATVR の優位性を正当化します。 .このコードは補足資料で入手でき、近日中に公開される予定です。
With the explosive growth of web videos and emerging large-scale vision-language pre-training models, e.g., CLIP, retrieving videos of interest with text instructions has attracted increasing attention. A common practice is to transfer text-video pairs to the same embedding space and craft cross-modal interactions with certain entities in specific granularities for semantic correspondence. Unfortunately, the intrinsic uncertainties of optimal entity combinations in appropriate granularities for cross-modal queries are understudied, which is especially critical for modalities with hierarchical semantics, e.g., video, text, etc. In this paper, we propose an Uncertainty-Adaptive Text-Video Retrieval approach, termed UATVR, which models each look-up as a distribution matching procedure. Concretely, we add additional learnable tokens in the encoders to adaptively aggregate multi-grained semantics for flexible high-level reasoning. In the refined embedding space, we represent text-video pairs as probabilistic distributions where prototypes are sampled for matching evaluation. Comprehensive experiments on four benchmarks justify the superiority of our UATVR, which achieves new state-of-the-art results on MSR-VTT (50.8%), VATEX (64.5%), MSVD (49.7%), and DiDeMo (45.8%). The code is available in supplementary materials and will be released publicly soon.