eXplainable人工知能(XAI)を実現する1つの方法は、事後分析手法を使用することです。特に、ヒートマップを生成する方法は、ディープニューラルネットワークなどのブラックボックスモデルを説明するために使用されてきました。場合によっては、ヒートマップを直感的かつ視覚的に理解できるため、ヒートマップが魅力的です。ただし、ヒートマップの実際の可能性を示す定量分析は不足しており、異なる方法間の比較も標準化されていません。このホワイトペーパーでは、より良い定量的評価のために、グラウンドトゥルースヒートマップとともにアドホックに生成できる合成データセットを紹介します。各サンプルデータは、簡単に区別できる特徴を備えた細胞の画像であり、さまざまなXAIメソッドのより透過的な評価を容易にします。比較と推奨が行われ、欠点が明確にされ、選択された事後分析方法のより細かい詳細を処理するための将来の研究の方向性に関する提案が示されます。
One way to achieve eXplainable artificial intelligence (XAI) is through the use of post-hoc analysis methods. In particular, methods that generate heatmaps have been used to explain black-box models, such as deep neural network. In some cases, heatmaps are appealing due to the intuitive and visual ways to understand them. However, quantitative analysis that demonstrates the actual potential of heatmaps have been lacking, and comparison between different methods are not standardized as well. In this paper, we introduce a synthetic dataset that can be generated adhoc along with the ground-truth heatmaps for better quantitative assessment. Each sample data is an image of a cell with easily distinguishable features, facilitating a more transparent assessment of different XAI methods. Comparison and recommendations are made, shortcomings are clarified along with suggestions for future research directions to handle the finer details of select post-hoc analysis methods.