arXiv reaDer
主観的な好みを伴うマルチモーダルな推奨ダイアログ: 新たな課題とベンチマーク
Multimodal Recommendation Dialog with Subjective Preference: A New Challenge and Benchmark
既存のマルチモーダルなタスク指向のダイアログ データは、現実のショッピング シナリオにおけるユーザーの主観的な好みや推奨行為の多様な表現を実証できません。この論文では、複雑な店舗シーンにおける 12K のショッピング ダイアログを含む新しいデータセット SURE (Multimodal Recommendation Dialog with SUbjective PREference) を紹介します。データは、品質と多様性を確保するために人間による注釈を使用して 2 つのフェーズで構築されます。 SURE には、販売専門家によって提案された主観的な好みと推奨行為が十分に注釈されています。 SURE の特徴を明らかにするために、包括的な分析が行われます。次に、マルチモーダル推奨エージェントの機能を評価するために、データに対して 3 つのベンチマーク タスクが提案されます。 SURE に基づいて、これらのタスクに対して最先端のマルチモーダル モデルを活用したベースライン モデルを提案します。
Existing multimodal task-oriented dialog data fails to demonstrate the diverse expressions of user subjective preferences and recommendation acts in the real-life shopping scenario. This paper introduces a new dataset SURE (Multimodal Recommendation Dialog with SUbjective PREference), which contains 12K shopping dialogs in complex store scenes. The data is built in two phases with human annotations to ensure quality and diversity. SURE is well-annotated with subjective preferences and recommendation acts proposed by sales experts. A comprehensive analysis is given to reveal the distinguishing features of SURE. Three benchmark tasks are then proposed on the data to evaluate the capability of multimodal recommendation agents. Based on the SURE, we propose a baseline model, powered by a state-of-the-art multimodal model, for these tasks.
updated: Fri May 26 2023 08:43:46 GMT+0000 (UTC)
published: Fri May 26 2023 08:43:46 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト