機械学習(ML)は、現代の知覚システムの基本的な部分です。過去10年間で、トレーニングされたディープニューラルネットワークを使用したコンピュータービジョンのパフォーマンスは、注意深い機能エンジニアリングに基づく以前のアプローチを上回りました。ただし、大規模なMLモデルの不透明性は、自動車のコンテキストなどの重要なアプリケーションにとって大きな障害になります。救済策として、モデル内部の視覚的な説明を提供するために、勾配加重クラスアクティベーションマッピング(Grad-CAM)が提案されています。この論文では、Grad-CAMヒートマップを使用して、歩行者用地下道用にトレーニングされた画像認識モデルの説明性を高める方法を示します。ヒートマップが、信頼できるAIに関するEUの7つの主要な要件への準拠をどのようにサポートするかについて議論します。最後に、自動ヒートマップ分析をMLOpsパイプラインのパイプセグメントとして追加することを提案します。このようなビルディングブロックを使用すると、テスト画像の無効なピクセルに基づいてトレーニング済みのMLモデルがアクティブ化されているかどうかを自動的に検出でき、モデルに偏りがあることがわかります。
Machine Learning (ML) is a fundamental part of modern perception systems. In the last decade, the performance of computer vision using trained deep neural networks has outperformed previous approaches based on careful feature engineering. However, the opaqueness of large ML models is a substantial impediment for critical applications such as in the automotive context. As a remedy, Gradient-weighted Class Activation Mapping (Grad-CAM) has been proposed to provide visual explanations of model internals. In this paper, we demonstrate how Grad-CAM heatmaps can be used to increase the explainability of an image recognition model trained for a pedestrian underpass. We argue how the heatmaps support compliance to the EU's seven key requirements for Trustworthy AI. Finally, we propose adding automated heatmap analysis as a pipe segment in an MLOps pipeline. We believe that such a building block can be used to automatically detect if a trained ML-model is activated based on invalid pixels in test images, suggesting biased models.