視覚入力に埋め込まれたテキストを認識して推論する能力は、視覚と言語 (V&L) モデルに欠けていることがよくあります。これはおそらく、V&L の事前トレーニング方法がそのような能力をトレーニング目標に組み込んでいないことが多いためと考えられます。この論文では、シーンテキスト理解 (STU) に特化した新しい事前トレーニング レシピである PreSTU を提案します。 PreSTU は、モデルが画像からテキストを認識し、それを画像コンテンツの残りの部分に接続することを促進する、OCR 対応の事前トレーニング目標を導入します。シンプルなトランスフォーマーベースのエンコーダー/デコーダー アーキテクチャを使用して PreSTU を実装し、既製の OCR システムから取得したシーン テキストを含む大規模な画像テキスト データセットと組み合わせます。私たちは、8 つの視覚的な質問応答と 4 つの画像キャプションベンチマークに対するこの事前トレーニング アプローチの有効性を経験的に実証します。
The ability to recognize and reason about text embedded in visual inputs is often lacking in vision-and-language (V&L) models, perhaps because V&L pre-training methods have often failed to include such an ability in their training objective. In this paper, we propose PreSTU, a novel pre-training recipe dedicated to scene-text understanding (STU). PreSTU introduces OCR-aware pre-training objectives that encourage the model to recognize text from an image and connect it to the rest of the image content. We implement PreSTU using a simple transformer-based encoder-decoder architecture, combined with large-scale image-text datasets with scene text obtained from an off-the-shelf OCR system. We empirically demonstrate the effectiveness of this pre-training approach on eight visual question answering and four image captioning benchmarks.