arXiv reaDer
Unified Vision-Language Pre-Training for Image Captioning and VQA
 この論文では、統合されたVision-Language Pre-training(VLP)モデルについて説明します。モデルは(1)ビジョン言語生成(例:画像キャプション)または理解(例:視覚的な質問応答)のいずれかのために微調整できること、および(2)共有マルチレイヤートランスフォーマーを使用することで統一されます。エンコードとデコードの両方のネットワーク。これは、エンコーダーとデコーダーが別々のモデルを使用して実装される多くの既存の方法とは異なります。統合VLPモデルは、2つのタスクの教師なし学習目標を使用して、大量のイメージテキストペアで事前にトレーニングされています:双方向およびシーケンスツーシーケンス(seq2seq)マスクビジョン言語予測。 2つのタスクは、予測条件のコンテキストのみが異なります。これは、共有されたトランスフォーマーネットワーク用の特定の自己注意マスクを利用することにより制御されます。私たちの知る限り、VLPは、3つの困難なベンチマークデータセットにわたって、画像キャプションや視覚的な質問応答とは異なり、ビジョン言語の生成と理解の両方のタスクで最先端の結果を達成する最初の報告モデルです。COCOキャプション、Flickr30kキャプション、およびVQA 2.0。コードと事前トレーニングモデルは、で入手できます。
This paper presents a unified Vision-Language Pre-training (VLP) model. The model is unified in that (1) it can be fine-tuned for either vision-language generation (e.g., image captioning) or understanding (e.g., visual question answering) tasks, and (2) it uses a shared multi-layer transformer network for both encoding and decoding, which differs from many existing methods where the encoder and decoder are implemented using separate models. The unified VLP model is pre-trained on a large amount of image-text pairs using the unsupervised learning objectives of two tasks: bidirectional and sequence-to-sequence (seq2seq) masked vision-language prediction. The two tasks differ solely in what context the prediction conditions on. This is controlled by utilizing specific self-attention masks for the shared transformer network. To the best of our knowledge, VLP is the first reported model that achieves state-of-the-art results on both vision-language generation and understanding tasks, as disparate as image captioning and visual question answering, across three challenging benchmark datasets: COCO Captions, Flickr30k Captions, and VQA 2.0. The code and the pre-trained models are available at
updated: Wed Dec 04 2019 18:48:15 GMT+0000 (UTC)
published: Tue Sep 24 2019 17:17:26 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト