arXiv reaDer
Align before Fuse: Vision and Language Representation Learning with Momentum Distillation
大規模な視覚と言語表現の学習は、さまざまな視覚言語タスクの有望な改善を示しています。ほとんどの既存の方法は、トランスフォーマーベースのマルチモーダルエンコーダーを使用して、ビジュアルトークン(領域ベースの画像機能)とワードトークンを共同でモデル化します。ビジュアルトークンとワードトークンは整列されていないため、マルチモーダルエンコーダーが画像とテキストの相互作用を学習することは困難です。この論文では、クロスモーダル注意を通じて画像とテキスト表現を融合する前に整列させるための対照的な損失を紹介します(ALBEF)。これにより、より根拠のあるビジョンと言語表現の学習が可能になります。ほとんどの既存の方法とは異なり、私たちの方法はバウンディングボックスの注釈や高解像度の画像を必要としません。ノイズの多いウェブデータからの学習を改善するために、運動量モデルによって生成された疑似ターゲットから学習するセルフトレーニング方法である運動量蒸留を提案します。相互情報量最大化の観点からALBEFの理論的分析を提供し、さまざまなトレーニングタスクを、画像とテキストのペアのビューを生成するさまざまな方法として解釈できることを示します。 ALBEFは、複数のダウンストリームビジョン言語タスクで最先端のパフォーマンスを実現します。画像テキスト検索では、ALBEFは、桁違いに大きいデータセットで事前トレーニングされたメソッドよりも優れています。 VQAとNLVR ^ 2では、ALBEFは、より高速な推論速度を享受しながら、最先端技術と比較して2.37%と3.84%の絶対的な改善を達成します。コードと事前トレーニング済みモデルは、で入手できます。
Large-scale vision and language representation learning has shown promising improvements on various vision-language tasks. Most existing methods employ a transformer-based multimodal encoder to jointly model visual tokens (region-based image features) and word tokens. Because the visual tokens and word tokens are unaligned, it is challenging for the multimodal encoder to learn image-text interactions. In this paper, we introduce a contrastive loss to ALign the image and text representations BEfore Fusing (ALBEF) them through cross-modal attention, which enables more grounded vision and language representation learning. Unlike most existing methods, our method does not require bounding box annotations nor high-resolution images. In order to improve learning from noisy web data, we propose momentum distillation, a self-training method which learns from pseudo-targets produced by a momentum model. We provide a theoretical analysis of ALBEF from a mutual information maximization perspective, showing that different training tasks can be interpreted as different ways to generate views for an image-text pair. ALBEF achieves state-of-the-art performance on multiple downstream vision-language tasks. On image-text retrieval, ALBEF outperforms methods that are pre-trained on orders of magnitude larger datasets. On VQA and NLVR^2, ALBEF achieves absolute improvements of 2.37% and 3.84% compared to the state-of-the-art, while enjoying faster inference speed. Code and pre-trained models are available at
updated: Fri Jul 16 2021 00:19:22 GMT+0000 (UTC)
published: Fri Jul 16 2021 00:19:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト