arXiv reaDer
マルチモーダル対話の理解と生成のためのシーン認識プロンプト
Scene-Aware Prompt for Multi-modal Dialogue Understanding and Generation
このホワイトペーパーでは、NLPCC-2022-Shared-Task-4マルチモーダルダイアログの理解と生成(MDUG)におけるチームLingJingの実験のスキームを紹介します。 MDUGタスクは、マルチモーダルコンテキストの理解と応答の生成という2つのフェーズに分けることができます。シーンの理解と対話の生成の両方に視覚情報を十分に活用するために、MDUGタスクのシーン認識プロンプトを提案します。具体的には、シーンとセッションのマルチモーダル理解を共同でモデル化するためにマルチタスク戦略を利用します。視覚的なキャプションはシーン情報を認識するために採用され、シーンおよびセッションを認識するラベルに基づく固定タイプのテンプレート化されたプロンプトは、ダイアログ生成のパフォーマンスをさらに向上させるために使用されます。広範な実験結果は、提案された方法が、このMDUG競争の3つのサブタスクすべてで1位にランク付けされている他の競合方法と比較して、最先端の(SOTA)パフォーマンスを達成したことを示しています。
This paper introduces the schemes of Team LingJing's experiments in NLPCC-2022-Shared-Task-4 Multi-modal Dialogue Understanding and Generation (MDUG). The MDUG task can be divided into two phases: multi-modal context understanding and response generation. To fully leverage the visual information for both scene understanding and dialogue generation, we propose the scene-aware prompt for the MDUG task. Specifically, we utilize the multi-tasking strategy for jointly modelling the scene- and session- multi-modal understanding. The visual captions are adopted to aware the scene information, while the fixed-type templated prompt based on the scene- and session-aware labels are used to further improve the dialogue generation performance. Extensive experimental results show that the proposed method has achieved state-of-the-art (SOTA) performance compared with other competitive methods, where we rank the 1-st in all three subtasks in this MDUG competition.
updated: Tue Jul 05 2022 05:54:20 GMT+0000 (UTC)
published: Tue Jul 05 2022 05:54:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト