arXiv reaDer
Unicoder-VL: A Universal Encoder for Vision and Language by Cross-modal Pre-training
 Unicoder-VLは、事前トレーニング方法で視覚と言語の共同表現を学習することを目的としたユニバーサルエンコーダーを提案します。 XLMやUnicoderなどのクロスリンガルの事前トレーニングモデルからアイデアを借用し、視覚的および言語的コンテンツの両方をクロスモーダルプレトレーニング用のマルチレイヤートランスフォーマーにフィードします。言語モデリング(MLM)、マスクされたオブジェクト分類(MOC)、および視覚言語マッチング(VLM)。最初の2つのタスクは、言語と視覚のコンテンツに共同して基づいて、入力トークンのコンテキスト認識表現を学習します。最後のタスクは、画像とテキストが互いに説明するかどうかを予測しようとします。大規模な画像キャプションペアで事前トレーニングを行った後、Unicoder-VLをキャプションベースの画像テキスト検索と視覚的な常識的推論に転送し、出力レイヤーを1つ追加します。 2つのタスクの両方で最先端または同等の結果を達成し、クロスモーダルの事前トレーニングの強力な能力を示しています。
We propose Unicoder-VL, a universal encoder that aims to learn joint representations of vision and language in a pre-training manner. Borrow ideas from cross-lingual pre-trained models, such as XLM and Unicoder, both visual and linguistic contents are fed into a multi-layer Transformer for the cross-modal pre-training, where three pre-trained tasks are employed, including Masked Language Modeling (MLM), Masked Object Classification (MOC) and Visual-linguistic Matching (VLM). The first two tasks learn context-aware representations for input tokens based on linguistic and visual contents jointly. The last task tries to predict whether an image and a text describe each other. After pretraining on large-scale image-caption pairs, we transfer Unicoder-VL to caption-based image-text retrieval and visual commonsense reasoning, with just one additional output layer. We achieve state-of-the-art or comparable results on both two tasks and show the powerful ability of the cross-modal pre-training.
updated: Mon Dec 02 2019 10:15:38 GMT+0000 (UTC)
published: Fri Aug 16 2019 17:26:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト