近年、説明可能な人工知能 (XAI) の分野が大きく進歩していますが、主にコンピュータ ビジョンと自然言語処理が進歩しています。入力が解釈できないことが多い時系列の場合、XAI に関する限られた研究しか利用できません。この作業では、時系列を解釈可能な表現に変換し、レイヤーごとの関連性伝播 (LRP) などのローカル XAI メソッドを介して、この表現に関連性属性を伝播できるようにする仮想検査レイヤーを提案しました。このようにして、XAI メソッドのファミリの適用範囲を、入力が変換後にのみ解釈可能であるドメイン (音声など) に拡張します。ここでは、時系列と LRP の解釈に顕著に適用されるフーリエ変換に焦点を当て、私たちの方法を DFT-LRP と呼びます。オーディオや電子健康記録などのさまざまな時系列分類設定での DFT-LRP の有用性を示します。 DFT-LRP が、さまざまなドメイン (時間と周波数のドメインなど) でトレーニングされたモデルの分類戦略の違いをどのように明らかにするか、またはモデルがデータ内の偽の相関にどのように作用するかを発見するのに役立つ方法を紹介します。
The field of eXplainable Artificial Intelligence (XAI) has greatly advanced in recent years, but progress has mainly been made in computer vision and natural language processing. For time series, where the input is often not interpretable, only limited research on XAI is available. In this work, we put forward a virtual inspection layer, that transforms the time series to an interpretable representation and allows to propagate relevance attributions to this representation via local XAI methods like layer-wise relevance propagation (LRP). In this way, we extend the applicability of a family of XAI methods to domains (e.g. speech) where the input is only interpretable after a transformation. Here, we focus on the Fourier transformation which is prominently applied in the interpretation of time series and LRP and refer to our method as DFT-LRP. We demonstrate the usefulness of DFT-LRP in various time series classification settings like audio and electronic health records. We showcase how DFT-LRP reveals differences in the classification strategies of models trained in different domains (e.g., time vs. frequency domain) or helps to discover how models act on spurious correlations in the data.