arXiv reaDer
少数のショットの知識ベースVQAに対するGPT-3の実証的研究
An Empirical Study of GPT-3 for Few-Shot Knowledge-Based VQA
知識ベースの視覚的な質問応答(VQA)には、画像に存在しない外部の知識を必要とする質問への回答が含まれます。既存の方法では、最初に外部リソースから知識を取得し、次に選択した知識、入力画像、および回答予測のための質問について推論します。ただし、この2段階のアプローチでは、VQAのパフォーマンスを制限する可能性のある不一致が発生する可能性があります。たとえば、取得された知識はノイズが多く、質問とは無関係である可能性があり、推論中に再埋め込まれた知識機能は、知識ベース(KB)の元の意味から逸脱する可能性があります。この課題に対処するために、知識ベースのVQAに対して、画像キャプションを使用してGPT3にプロンプトを表示するシンプルで効果的な方法であるPICaを提案します。知識検索と質問応答におけるGPT-3の能力に触発されて、前の作業のように構造化KBを使用する代わりに、GPT-3を、関連する知識を共同で取得して処理できる暗黙的で非構造化KBとして扱います。具体的には、最初に画像をGPT-3が理解できるキャプション(またはタグ)に変換し、次にGPT-3を適応させて、コンテキスト内のVQAの例をいくつか提供するだけで、VQAタスクを数ショットで解決します。 (i)画像コンテンツを最もよく表すテキスト形式、および(ii)コンテキスト内の例をより適切に選択して使用する方法を注意深く調査することにより、パフォーマンスをさらに向上させます。 PICaは、マルチモーダルタスクでのGPT-3の最初の使用を解き放ちます。 16の例のみを使用することにより、PICaは、OK-VQAデータセットで絶対+8.6ポイントだけ監視された最先端を上回ります。また、PICaをVQAv2でベンチマークします。ここでは、PICaもまともな数ショットのパフォーマンスを示しています。
Knowledge-based visual question answering (VQA) involves answering questions that require external knowledge not present in the image. Existing methods first retrieve knowledge from external resources, then reason over the selected knowledge, the input image, and question for answer prediction. However, this two-step approach could lead to mismatches that potentially limit the VQA performance. For example, the retrieved knowledge might be noisy and irrelevant to the question, and the re-embedded knowledge features during reasoning might deviate from their original meanings in the knowledge base (KB). To address this challenge, we propose PICa, a simple yet effective method that Prompts GPT3 via the use of Image Captions, for knowledge-based VQA. Inspired by GPT-3's power in knowledge retrieval and question answering, instead of using structured KBs as in previous work, we treat GPT-3 as an implicit and unstructured KB that can jointly acquire and process relevant knowledge. Specifically, we first convert the image into captions (or tags) that GPT-3 can understand, then adapt GPT-3 to solve the VQA task in a few-shot manner by just providing a few in-context VQA examples. We further boost performance by carefully investigating: (i) what text formats best describe the image content, and (ii) how in-context examples can be better selected and used. PICa unlocks the first use of GPT-3 for multimodal tasks. By using only 16 examples, PICa surpasses the supervised state of the art by an absolute +8.6 points on the OK-VQA dataset. We also benchmark PICa on VQAv2, where PICa also shows a decent few-shot performance.
updated: Wed Sep 14 2022 04:01:50 GMT+0000 (UTC)
published: Fri Sep 10 2021 17:51:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト