クロスモーダル検索プロセスへの現在の最先端のアプローチは、テキストと視覚入力を共同で処理し、画像内のすべての単語とオブジェクトに対応するクロスアテンションメカニズムを備えたTransformerベースのアーキテクチャに依存しています。比類のない検索パフォーマンスを提供する一方で、このようなモデルは、1)通常、最初から事前トレーニングされているため、拡張性が低くなります。2)検索の待ち時間が長く非効率であるため、現実的なアプリケーションでは実用的ではありません。改善された効率的なクロスモーダル検索の両方に向けたこれらの重大なギャップに対処するために、事前にトレーニングされたテキスト画像マルチモーダルモデルを効率的な検索モデルに変える新しい微調整フレームワークを提案します。このフレームワークは、1)コーパスのすべてのアイテムを個別にエンコードして効率的な初期検索を可能にするツインネットワーク、および2)より微妙な(つまり、よりスマートな)クロスエンコーダコンポーネントを組み合わせた協調的な検索と再ランク付けのアプローチに基づいています。 )取得したアイテムの小さなセットのランキング。また、重みを共有して2つのコンポーネントを共同で微調整し、よりパラメーター効率の高いモデルを作成することを提案します。単一言語、多言語、およびゼロショットのセットアップにおける一連の標準的なクロスモーダル検索ベンチマークに関する実験は、最先端のクロスエンコーダーよりも精度が向上し、効率が大幅に向上することを示しています。
Current state-of-the-art approaches to cross-modal retrieval process text and visual input jointly, relying on Transformer-based architectures with cross-attention mechanisms that attend over all words and objects in an image. While offering unmatched retrieval performance, such models: 1) are typically pretrained from scratch and thus less scalable, 2) suffer from huge retrieval latency and inefficiency issues, which makes them impractical in realistic applications. To address these crucial gaps towards both improved and efficient cross-modal retrieval, we propose a novel fine-tuning framework which turns any pretrained text-image multi-modal model into an efficient retrieval model. The framework is based on a cooperative retrieve-and-rerank approach which combines: 1) twin networks to separately encode all items of a corpus, enabling efficient initial retrieval, and 2) a cross-encoder component for a more nuanced (i.e., smarter) ranking of the retrieved small set of items. We also propose to jointly fine-tune the two components with shared weights, yielding a more parameter-efficient model. Our experiments on a series of standard cross-modal retrieval benchmarks in monolingual, multilingual, and zero-shot setups, demonstrate improved accuracy and huge efficiency benefits over the state-of-the-art cross-encoders.