特徴量の重要度の近似を評価するためのアプローチ (帰属手法とも呼ばれます) は、広範なコンテキストにわたって確立されています。パフォーマンスベンチマークのための回復力のある技術の開発は、説明可能なディープラーニングの分野において重大な懸念事項となっています。この研究では、特徴重要度推定のパフォーマンスを測定するために広く使用されている RemOve-And-Retrain (ROAR) プロシージャの信頼性を精査しています。理論的基礎と実証的調査から得られた洞察は、決定関数に関する情報が少ない属性が ROAR ベンチマークで優れた結果を生み出す可能性があり、ROAR の本来の目的に反する可能性があることを明らかにしています。この現象は、最近導入されたバリアント RemOve-And-Debias (ROAD) でも同様に観察されており、ROAR アトリビューション メトリクスにおける不鮮明さバイアスの永続的なパターンを仮定しています。私たちの調査結果は、ROAR 指標の無差別な使用に対する警告として機能します。コードはオープンソースとして入手できます。
Approaches for appraising feature importance approximations, alternatively referred to as attribution methods, have been established across an extensive array of contexts. The development of resilient techniques for performance benchmarking constitutes a critical concern in the sphere of explainable deep learning. This study scrutinizes the dependability of the RemOve-And-Retrain (ROAR) procedure, which is prevalently employed for gauging the performance of feature importance estimates. The insights gleaned from our theoretical foundation and empirical investigations reveal that attributions containing lesser information about the decision function may yield superior results in ROAR benchmarks, contradicting the original intent of ROAR. This occurrence is similarly observed in the recently introduced variant RemOve-And-Debias (ROAD), and we posit a persistent pattern of blurriness bias in ROAR attribution metrics. Our findings serve as a warning against indiscriminate use on ROAR metrics. The code is available as open source.