ディープ ニューラル ネットワークは、画像認識タスクで有望なパフォーマンスを示しています。ただし、パフォーマンスを向上させるための手がかりとして、データセット内の無関係なアーティファクトやバイアスを使用して、交絡因子に大きく依存している可能性があります。モデルがこれらの誤った相関関係に基づいて意思決定を行うと、信頼できなくなり、現実世界のシーンに展開されたときに壊滅的な結果につながる可能性があります。この論文では、皮膚がん診断の文脈でこの問題を調査し、解決しようとしています。交絡行動が発生したときにユーザーがモデルの決定ロジックを観察して修正できるように、モデルトレーニングプロセスにヒューマンインザループフレームワークを導入します。具体的には、我々の方法は、サンプルの共起挙動を分析することにより、自動的に交絡因子を発見することができます。簡単に得られる概念の模範を使用して、交絡概念を学習することができます。ブラック ボックス モデルの機能表現を説明可能な概念空間にマッピングすることにより、人間のユーザーは概念を解釈し、一次論理命令を介して介入できます。新しく作成された、適切に制御された皮膚病変データセットといくつかの公開皮膚病変データセットで、この方法を体系的に評価します。実験では、カテゴリ分布に関する事前知識がなくても、データセットから交絡因子を効果的に検出して削除でき、完全に注釈付きの概念ラベルを必要としないことが示されています。また、私たちの方法により、モデルが臨床関連の概念に集中できるようになり、モデルのパフォーマンスとモデルの推論中の信頼性が向上することも示します。
Deep neural networks have demonstrated promising performance on image recognition tasks. However, they may heavily rely on confounding factors, using irrelevant artifacts or bias within the dataset as the cue to improve performance. When a model performs decision-making based on these spurious correlations, it can become untrustable and lead to catastrophic outcomes when deployed in the real-world scene. In this paper, we explore and try to solve this problem in the context of skin cancer diagnosis. We introduce a human-in-the-loop framework in the model training process such that users can observe and correct the model's decision logic when confounding behaviors happen. Specifically, our method can automatically discover confounding factors by analyzing the co-occurrence behavior of the samples. It is capable of learning confounding concepts using easily obtained concept exemplars. By mapping the black-box model's feature representation onto an explainable concept space, human users can interpret the concept and intervene via first order-logic instruction. We systematically evaluate our method on our newly crafted, well-controlled skin lesion dataset and several public skin lesion datasets. Experiments show that our method can effectively detect and remove confounding factors from datasets without any prior knowledge about the category distribution and does not require fully annotated concept labels. We also show that our method enables the model to focus on clinical-related concepts, improving the model's performance and trustworthiness during model inference.