機械学習は、ヘルスケア、金融、刑事司法などのハイステークスアプリケーションを含む多くの分野で広く採用されています。公平性、説明責任、透明性の懸念に対処するには、これらの重要なドメインで機械学習モデルによって行われた予測を解釈できる必要があります。 1つの作業ラインは、ディープニューラルネットワークの能力と事例ベース推論の解釈可能性を統合して、正確でありながら解釈可能な画像分類モデルを生成することにより、この課題に取り組みます。これらのモデルは、一般に、トレーニング中に学習したプロトタイプと比較することによって入力画像を分類し、「これはそのように見える」という形で説明を生成します。ただし、この一連の作業のメソッドは、空間的に剛性のあるプロトタイプを使用しているため、ポーズの変化を明示的に説明することはできません。この論文では、変形可能なプロトタイプ部品ネットワーク(Deformable ProtoPNet)と呼ばれる、空間的に柔軟なプロトタイプを提供するケースベースの解釈可能なニューラルネットワークを提案することにより、この欠点に対処します。 Deformable ProtoPNetでは、各プロトタイプは、入力画像に応じて相対的な空間位置を適応的に変更するいくつかのプロトタイプパーツで構成されています。これにより、プロトタイプ内のパーツの移動が許可されるため、各プロトタイプは、空間変換に対する許容度が高いオブジェクトフィーチャを検出できます。その結果、Deformable ProtoPNetはポーズの変化を明示的にキャプチャし、モデルの精度と提供される説明の豊富さの両方を向上させることができます。プロトタイプを使用する他のケースベースの解釈可能なモデルと比較して、私たちのアプローチは、競争力のある精度を達成し、より多くのコンテキストで説明を提供し、トレーニングが容易であるため、コンピュータービジョンの解釈可能なモデルの幅広い使用を可能にします。
Machine learning has been widely adopted in many domains, including high-stakes applications such as healthcare, finance, and criminal justice. To address concerns of fairness, accountability and transparency, predictions made by machine learning models in these critical domains must be interpretable. One line of work approaches this challenge by integrating the power of deep neural networks and the interpretability of case-based reasoning to produce accurate yet interpretable image classification models. These models generally classify input images by comparing them with prototypes learned during training, yielding explanations in the form of "this looks like that." However, methods from this line of work use spatially rigid prototypes, which cannot explicitly account for pose variations. In this paper, we address this shortcoming by proposing a case-based interpretable neural network that provides spatially flexible prototypes, called a deformable prototypical part network (Deformable ProtoPNet). In a Deformable ProtoPNet, each prototype is made up of several prototypical parts that adaptively change their relative spatial positions depending on the input image. This enables each prototype to detect object features with a higher tolerance to spatial transformations, as the parts within a prototype are allowed to move. Consequently, a Deformable ProtoPNet can explicitly capture pose variations, improving both model accuracy and the richness of explanations provided. Compared to other case-based interpretable models using prototypes, our approach achieves competitive accuracy, gives an explanation with greater context, and is easier to train, thus enabling wider use of interpretable models for computer vision.