ディープラーニングモデルがセーフティクリティカルなアプリケーションでますます使用されるようになると、説明性と信頼性が大きな懸念事項になります。低解像度の顔のポートレートなどの単純な画像の場合、訓練された分類モデルの決定メカニズムを明らかにする方法として、視覚的な反事実的説明を合成することが最近提案されています。この作品では、高品質の画像や複雑なシーンの反事実的説明を作成する問題に対処します。最近のセマンティックからイメージへのモデルを活用して、シーン全体の構造を維持するもっともらしい、まばらな変更を生成する、新しい生成的な反事実的説明フレームワークを提案します。さらに、「領域を対象とした反事実的説明」の概念と、それに対応するフレームワークを紹介します。ユーザーは、説明が必要なクエリ画像のセマンティック領域のセットを指定することで、反事実的条件の生成をガイドできます。高品質のポートレート(CelebAMask-HQ)や運転シーン(BDD100k)など、やりがいのあるデータセットに対して広範な実験が行われます。コードはhttps://github.com/valeoai/STEEXで入手できます
As deep learning models are increasingly used in safety-critical applications, explainability and trustworthiness become major concerns. For simple images, such as low-resolution face portraits, synthesizing visual counterfactual explanations has recently been proposed as a way to uncover the decision mechanisms of a trained classification model. In this work, we address the problem of producing counterfactual explanations for high-quality images and complex scenes. Leveraging recent semantic-to-image models, we propose a new generative counterfactual explanation framework that produces plausible and sparse modifications which preserve the overall scene structure. Furthermore, we introduce the concept of "region-targeted counterfactual explanations", and a corresponding framework, where users can guide the generation of counterfactuals by specifying a set of semantic regions of the query image the explanation must be about. Extensive experiments are conducted on challenging datasets including high-quality portraits (CelebAMask-HQ) and driving scenes (BDD100k). Code is available at https://github.com/valeoai/STEEX