過去数年にわたって、多くの「説明可能な人工知能」(xAI)アプローチが開発されてきましたが、これらは常に客観的に評価されているわけではありません。さまざまな顕著性手法によって生成されたヒートマップの品質を評価するために、合成病変と既知のグラウンドトゥルースマップを使用して人工データを生成するフレームワークを開発しました。このフレームワークを使用して、異なる背景を持つ2つのデータセット、パーリンノイズと2D脳MRIスライスを評価し、ヒートマップが顕著性メソッドと背景の間で大きく異なることを発見しました。これらを臨床またはその他のセーフティクリティカルな設定に適用する前に、このフレームワークを使用して顕著性マップとxAIメソッドをさらに評価することを強くお勧めします。
Over the last years, many 'explainable artificial intelligence' (xAI) approaches have been developed, but these have not always been objectively evaluated. To evaluate the quality of heatmaps generated by various saliency methods, we developed a framework to generate artificial data with synthetic lesions and a known ground truth map. Using this framework, we evaluated two data sets with different backgrounds, Perlin noise and 2D brain MRI slices, and found that the heatmaps vary strongly between saliency methods and backgrounds. We strongly encourage further evaluation of saliency maps and xAI methods using this framework before applying these in clinical or other safety-critical settings.