arXiv reaDer
マルチモーダルビジョンに向けて-非ジェネリックテキストを生成する言語モデル
Towards Multimodal Vision-Language Models Generating Non-Generic Text
視覚言語モデルは、画像の視覚的コンテキストを評価し、説明テキストを生成できます。生成されたテキストは正確で構文的に正しい場合がありますが、多くの場合、過度に一般的です。これに対処するために、最近の研究では、光学式文字認識を使用して、画像から抽出されたテキストで視覚情報を補足しています。この作業では、視覚言語モデルは、画像から抽出できるが、現在のモデルでは使用されていない追加情報の恩恵を受けることができると主張します。以前のマルチモーダルフレームワークを変更して、任意の数の補助分類器から関連情報を受け入れます。特に、トークンの追加セットとして人物名に焦点を当て、人物名によるキャプションを容易にするための新しい画像キャプションデータセットを作成します。データセット、Politicians and Athletes in Captions(PAC)は、コンテキスト内の有名な人々のキャプション付き画像で構成されています。このデータセットを使用して事前トレーニング済みモデルを微調整することにより、限られたデータでトレーニングすることにより、生成されたテキストに顔認識トークンを自然に統合できるモデルを示します。 PACデータセットについては、収集とベースラインのベンチマークスコアに関するディスカッションを提供します。
Vision-language models can assess visual context in an image and generate descriptive text. While the generated text may be accurate and syntactically correct, it is often overly general. To address this, recent work has used optical character recognition to supplement visual information with text extracted from an image. In this work, we contend that vision-language models can benefit from additional information that can be extracted from an image, but are not used by current models. We modify previous multimodal frameworks to accept relevant information from any number of auxiliary classifiers. In particular, we focus on person names as an additional set of tokens and create a novel image-caption dataset to facilitate captioning with person names. The dataset, Politicians and Athletes in Captions (PAC), consists of captioned images of well-known people in context. By fine-tuning pretrained models with this dataset, we demonstrate a model that can naturally integrate facial recognition tokens into generated text by training on limited data. For the PAC dataset, we provide a discussion on collection and baseline benchmark scores.
updated: Sat Jul 09 2022 01:56:35 GMT+0000 (UTC)
published: Sat Jul 09 2022 01:56:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト