オブジェクト認識などの特定のコンピュータビジョンタスクでの最新のアルゴリズムのパフォーマンスは、現在、人間のパフォーマンスに近づいています。この成功は、数百万のパラメーターに依存する複雑なアーキテクチャを犠牲にして達成され、特定の予測がどのように行われるかを理解することは非常に困難になっています。解釈可能性の方法は、私たちにこの理解を与えることを提案しています。この論文では、おそらく最も人気のあるLIMEについて研究します。理論的には、生成される例の数が多い場合、LIMEの説明は、明示的に表現する極限の説明に集中することを示します。基本形状検出器と線形モデルについて、この研究をさらに進めます。この分析の結果として、LIMEと統合された勾配、別の説明方法との関係が明らかになりました。より正確には、LIMEの説明は、LIMEの前処理ステップで使用されるスーパーピクセル全体の統合された勾配の合計に似ています。
The performance of modern algorithms on certain computer vision tasks such as object recognition is now close to that of humans. This success was achieved at the price of complicated architectures depending on millions of parameters and it has become quite challenging to understand how particular predictions are made. Interpretability methods propose to give us this understanding. In this paper, we study LIME, perhaps one of the most popular. On the theoretical side, we show that when the number of generated examples is large, LIME explanations are concentrated around a limit explanation for which we give an explicit expression. We further this study for elementary shape detectors and linear models. As a consequence of this analysis, we uncover a connection between LIME and integrated gradients, another explanation method. More precisely, the LIME explanations are similar to the sum of integrated gradients over the superpixels used in the preprocessing step of LIME.