arXiv reaDer
X-ToM: Explaining with Theory-of-Mind for Gaining Justified Human Trust
  説明を通じてAIマシンにおける正当な人間の信頼と信頼を高めることを目的とした、新しい説明可能なAI(XAI)フレームワークを提示します。説明は、マシンと人間のユーザーとの間の反復的なコミュニケーションプロセス、つまりダイアログとして行われます。より具体的には、マシンはダイアログで一連の説明を生成し、各ダイアログターンで3つの重要な側面を考慮します。(a)人間の意図(または好奇心)。 (b)機械に対する人間の理解。 (c)人間のユーザーに対する機械の理解。これを行うには、心の理論(ToM)を使用します。これは、人間の意図、人間によって推論される機械の心、および機械によって推論される人間の心を明示的にモデル化するのに役立ちます。つまり、ToMのこれらの明示的な精神的表現は、人間の知覚と信念を考慮した最適な説明ポリシーを学習するために組み込まれています。さらに、ToMは、3つのすべての精神的表現を比較することにより、マシンに対する正当な人間の信頼を定量的に測定することを促進することも示しています。フレームワークを3つの視覚認識タスク、つまり、画像分類、アクション認識、および人体の姿勢推定に適用しました。 ToMベースの説明は、複雑な機械学習モデルの内部動作を理解するために、専門家と非専門家の両方のユーザーにとって実用的で自然なものであると主張します。私たちの知る限り、これはToMを使用して説明を導き出す最初の作品です。大規模な人間の研究実験により仮説が検証され、提案された説明が、人間の信頼、信頼、説明の満足度を含むすべての標準的な定量的および定性的なXAI評価指標に関して、最先端のXAIメソッドを大幅に上回ることが示されました。
We present a new explainable AI (XAI) framework aimed at increasing justified human trust and reliance in the AI machine through explanations. We pose explanation as an iterative communication process, i.e. dialog, between the machine and human user. More concretely, the machine generates sequence of explanations in a dialog which takes into account three important aspects at each dialog turn: (a) human's intention (or curiosity); (b) human's understanding of the machine; and (c) machine's understanding of the human user. To do this, we use Theory of Mind (ToM) which helps us in explicitly modeling human's intention, machine's mind as inferred by the human as well as human's mind as inferred by the machine. In other words, these explicit mental representations in ToM are incorporated to learn an optimal explanation policy that takes into account human's perception and beliefs. Furthermore, we also show that ToM facilitates in quantitatively measuring justified human trust in the machine by comparing all the three mental representations. We applied our framework to three visual recognition tasks, namely, image classification, action recognition, and human body pose estimation. We argue that our ToM based explanations are practical and more natural for both expert and non-expert users to understand the internal workings of complex machine learning models. To the best of our knowledge, this is the first work to derive explanations using ToM. Extensive human study experiments verify our hypotheses, showing that the proposed explanations significantly outperform the state-of-the-art XAI methods in terms of all the standard quantitative and qualitative XAI evaluation metrics including human trust, reliance, and explanation satisfaction.
updated: Sun Sep 15 2019 23:24:32 GMT+0000 (UTC)
published: Sun Sep 15 2019 23:24:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト