arXiv reaDer
ビジュアルコミュニケーションゲームにおける創発的なグラフィカルな慣習
Emergent Graphical Conventions in a Visual Communication Game
人間は、象徴的な言語とは別に、グラフィカルなスケッチと通信します。創発的コミュニケーションに関する最近の研究は主に象徴的な言語に焦点を合わせていますが、それらの設定は人間のコミュニケーションに存在するグラフィカルなスケッチを見落としています。それらは、象徴性と象徴性の間のトレードオフにおいて象徴的な記号システムが出現する進化過程を説明していません。この作業では、ビジュアルコミュニケーションゲームをプレイする2つのニューラルエージェントを介して、このような進化プロセスをモデル化およびシミュレートするための最初のステップを実行します。送信者は、キャンバスにスケッチすることで受信者と通信します。エージェントがコミュニケーションの成功と抽象的なグラフィカルな慣習に向けて共同で進化するように、新しい強化学習方法を考案します。出現した規則を検査するために、3つの主要なプロパティ(アイコン性、シンボリック性、およびセマンティック性)を注意深く定義し、それに応じて評価方法を設計します。さまざまな制御下での私たちの実験結果は、人間のグラフィカルな慣習の研究における観察と一致しています。注目すべきことに、進化したスケッチは、適切な環境圧力の下でセマンティクスの連続性を維持できることがわかります。さらに興味深いことに、共進化したエージェントは、指示対象に精通していることに基づいて、従来型のコミュニケーションと象徴的なコミュニケーションを切り替えることができます。本研究が、スケッチの未踏のモダリティとの創発的コミュニケーションを研究するための道を開くことができることを願っています。
Humans communicate with graphical sketches apart from symbolic languages. While recent studies of emergent communication primarily focus on symbolic languages, their settings overlook the graphical sketches existing in human communication; they do not account for the evolution process through which symbolic sign systems emerge in the trade-off between iconicity and symbolicity. In this work, we take the very first step to model and simulate such an evolution process via two neural agents playing a visual communication game; the sender communicates with the receiver by sketching on a canvas. We devise a novel reinforcement learning method such that agents are evolved jointly towards successful communication and abstract graphical conventions. To inspect the emerged conventions, we carefully define three key properties -- iconicity, symbolicity, and semanticity -- and design evaluation methods accordingly. Our experimental results under different controls are consistent with the observation in studies of human graphical conventions. Of note, we find that evolved sketches can preserve the continuum of semantics under proper environmental pressures. More interestingly, co-evolved agents can switch between conventionalized and iconic communication based on their familiarity with referents. We hope the present research can pave the path for studying emergent communication with the unexplored modality of sketches.
updated: Sun Nov 28 2021 18:59:57 GMT+0000 (UTC)
published: Sun Nov 28 2021 18:59:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト