arXiv reaDer
MRecGen: マルチモーダル適切な反応ジェネレーター
MRecGen: Multimodal Appropriate Reaction Generator
同じ行動に対して異なる反応が適切である可能性があるため、言語的および非言語的な人間の反応を生成することは困難な作業です。この論文は、入力されたユーザーの行動に応じて、適切かつ現実的な人間スタイルの反応 (同期されたテキスト、オーディオ、およびビデオ ストリームの形式で表示される) を生成できる、初の複数かつマルチモーダル (言語および非言語) の適切な人間の反応生成フレームワークを提案します。この新しい技術は、適切な仮想エージェント/ロボットの動作を生成することにより、さまざまな人間とコンピューターの対話シナリオに適用できます。私たちのデモは https://github.com/SSYSteve/MRecGen で入手できます。
Verbal and non-verbal human reaction generation is a challenging task, as different reactions could be appropriate for responding to the same behaviour. This paper proposes the first multiple and multimodal (verbal and nonverbal) appropriate human reaction generation framework that can generate appropriate and realistic human-style reactions (displayed in the form of synchronised text, audio and video streams) in response to an input user behaviour. This novel technique can be applied to various human-computer interaction scenarios by generating appropriate virtual agent/robot behaviours. Our demo is available at https://github.com/SSYSteve/MRecGen.
updated: Wed Jul 05 2023 19:07:00 GMT+0000 (UTC)
published: Wed Jul 05 2023 19:07:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト