arXiv reaDer
Visual Dialogue State Tracking for Question Generation
 何だと思う?!推測と神託の間の視覚的な対話タスクです。推測者は、Yes / Noの一連の質問をすることで、画像の中のオラクル自身が想定しているオブジェクトを見つけることを目指しています。最終的な推測を成功させるためには、対話の進行とともに適切な質問をすることが不可欠です。その結果、対話の進捗状況を適切に表現して追跡する必要があります。質問生成の以前のモデルは、対話状態の表現と追跡にあまり注意を払わないため、繰り返される質問などの質の低い質問をする傾向があります。この論文では、質問生成のための視覚的対話状態追跡(VDST)ベースの方法を提案します。視覚的なダイアログ状態は、画像内のオブジェクトの分布およびオブジェクトの表現として定義されます。オブジェクトの分布は、オブジェクトの分布が変更されると更新されます。オブジェクトの相違に基づく注意は、新しい質問をデコードするために使用されます。オブジェクトの分布は、質問と回答のペアとオブジェクトを比較することにより更新されます。 GuessWhat ?!の実験結果データセットは、このモデルが既存の方法よりも大幅に優れており、新しい最先端のパフォーマンスを達成していることを示しています。また、以前の最先端の方法と比較して、このモデルが繰り返し質問の割合を50%以上から21.9%に減らしていることも注目に値します。
GuessWhat?! is a visual dialogue task between a guesser and an oracle. The guesser aims to locate an object supposed by the oracle oneself in an image by asking a sequence of Yes/No questions. Asking proper questions with the progress of dialogue is vital for achieving successful final guess. As a result, the progress of dialogue should be properly represented and tracked. Previous models for question generation pay less attention on the representation and tracking of dialogue states, and therefore are prone to asking low quality questions such as repeated questions. This paper proposes visual dialogue state tracking (VDST) based method for question generation. A visual dialogue state is defined as the distribution on objects in the image as well as representations of objects. Representations of objects are updated with the change of the distribution on objects. An object-difference based attention is used to decode new question. The distribution on objects is updated by comparing the question-answer pair and objects. Experimental results on GuessWhat?! dataset show that our model significantly outperforms existing methods and achieves new state-of-the-art performance. It is also noticeable that our model reduces the rate of repeated questions from more than 50% to 21.9% compared with previous state-of-the-art methods.
updated: Mon Nov 25 2019 03:32:28 GMT+0000 (UTC)
published: Tue Nov 12 2019 15:54:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト