arXiv reaDer
Simple Dialogue System with AUDITED
テキスト、画像、または両方のモダリティで構成される対話発話のためのマルチモーダル会話システムを考案します。 Auxiliary UnsuperviseD vIsual and TExtual Data(AUDITED)を活用します。テキストベースのタスクのパフォーマンスを向上させるために、英語からフランス語へのターゲット文の翻訳を利用して、支援された監督を形成します。画像ベースのタスクでは、MMDデータのポジティブおよびネガティブターゲット画像の最近傍画像を探すDeepFashionデータセットを使用します。これらの最近傍は、ターゲット画像の外部コンテキストを提供する最近傍埋め込みを形成します。隣接埋め込みベクトルを作成する2つの方法、つまり、ターゲット画像ごとにコンテキスト部分空間を生成するハード割り当てによる隣接埋め込み(NEHA)とソフト割り当てによる隣接埋め込み(NESA)を形成します。その後、これらの部分空間は、ターゲットデータのコンテキストとしてパイプラインによって学習されます。また、画像ベースのタスクとテキストベースのタスクを切り替える弁別器を提案します。大規模なマルチモーダルダイアログデータセット(MMD)とSIMMCのベースラインに対する改善を示します。
We devise a multimodal conversation system for dialogue utterances composed of text, image or both modalities. We leverage Auxiliary UnsuperviseD vIsual and TExtual Data (AUDITED). To improve the performance of text-based task, we utilize translations of target sentences from English to French to form the assisted supervision. For the image-based task, we employ the DeepFashion dataset in which we seek nearest neighbor images of positive and negative target images of the MMD data. These nearest neighbors form the nearest neighbor embedding providing an external context for target images. We form two methods to create neighbor embedding vectors, namely Neighbor Embedding by Hard Assignment (NEHA) and Neighbor Embedding by Soft Assignment (NESA) which generate context subspaces per target image. Subsequently, these subspaces are learnt by our pipeline as a context for the target data. We also propose a discriminator which switches between the image- and text-based tasks. We show improvements over baselines on the large-scale Multimodal Dialogue Dataset (MMD) and SIMMC.
updated: Fri Oct 22 2021 16:07:16 GMT+0000 (UTC)
published: Fri Oct 22 2021 16:07:16 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト