arXiv reaDer
MMIU:マルチモーダルアシスタントの視覚的意図理解のためのデータセット
MMIU: Dataset for Visual Intent Understanding in Multimodal Assistants
視覚も入力モダリティの1つであるマルチモーダルアシスタントでは、視覚入力が結果に影響を与える可能性があるため、ユーザーの意図を特定することは困難な作業になります。現在のデジタルアシスタントは、音声入力を受け取り、会話またはデバイスのコンテキストからユーザーの意図を判断しようとします。そのため、視覚的な入力(つまり、マルチモーダルアシスタントのユースケースを対象とした対応する質問の画像またはビデオ)を含むデータセットはすぐには利用できません。視覚的な質問応答(VQA)と視覚的な質問の生成(VQG)の研究は素晴らしいステップです。ただし、視覚障害者がマルチモーダルアシスタントに尋ねるような質問はキャプチャしません。さらに、多くの場合、質問は外部の知識から情報を求めません。このペーパーでは、新しいデータセットMMIU(マルチモーダルインテント理解)を提供します。画像を見ながら人間のアノテーターが提供する質問と対応するインテントが含まれています。次に、このデータセットをマルチモーダルデジタルアシスタントのインテント分類タスクに使用します。また、マルチモーダルトランスフォーマーの使用など、ビジョンと言語機能を組み合わせるためのさまざまなアプローチを実験します。画像と質問のペアを14のインテントに分類します。ベンチマーク結果を提供し、視覚的およびテキスト的特徴の役割について説明します。データセットの意図分類タスクの手順。
In multimodal assistant, where vision is also one of the input modalities, the identification of user intent becomes a challenging task as visual input can influence the outcome. Current digital assistants take spoken input and try to determine the user intent from conversational or device context. So, a dataset, which includes visual input (i.e. images or videos for the corresponding questions targeted for multimodal assistant use cases, is not readily available. The research in visual question answering (VQA) and visual question generation (VQG) is a great step forward. However, they do not capture questions that a visually-abled person would ask multimodal assistants. Moreover, many times questions do not seek information from external knowledge. In this paper, we provide a new dataset, MMIU (MultiModal Intent Understanding), that contains questions and corresponding intents provided by human annotators while looking at images. We, then, use this dataset for intent classification task in multimodal digital assistant. We also experiment with various approaches for combining vision and language features including the use of multimodal transformer for classification of image-question pairs into 14 intents. We provide the benchmark results and discuss the role of visual and text features for the intent classification task on our dataset.
updated: Sun Oct 31 2021 00:26:10 GMT+0000 (UTC)
published: Wed Oct 13 2021 00:57:05 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト