魅力的で挑発的な質問は、素晴らしい会話を開くことができます。この作業では、新しいシナリオを検討します。会話エージェントは、ユーザーの写真のセット(たとえば、ソーシャルメディアプラットフォームから)を表示し、魅力的な質問をしてユーザーとの会話を開始します。既存のビジョンから質問へのモデルは、ほとんどの場合、退屈で明白な質問を生成しますが、これは理想的な会話のスターターではない可能性があります。このペーパーでは、最初に写真セットのビジュアルストーリーを生成し、次にそのストーリーを使用して興味深い質問を生成する2フェーズフレームワークを紹介します。人間の評価は、私たちのフレームワークが、他のビジョンから質問へのベースラインよりも、会話を開始するためのより多くの応答を誘発する質問を生成することを示しています。
An engaging and provocative question can open up a great conversation. In this work, we explore a novel scenario: a conversation agent views a set of the user's photos (for example, from social media platforms) and asks an engaging question to initiate a conversation with the user. The existing vision-to-question models mostly generate tedious and obvious questions, which might not be ideals conversation starters. This paper introduces a two-phase framework that first generates a visual story for the photo set and then uses the story to produce an interesting question. The human evaluation shows that our framework generates more response-provoking questions for starting conversations than other vision-to-question baselines.