ディープニューラルネットワークは、内部表現の分散された性質により、多くの場合、解釈可能性を欠いています。対照的に、人間は一般に、自然言語で、単純な常識の推論で視覚的な質問への回答を正当化できます。ただし、人間の内省機能には限界があります。これは、私たちの最低レベルの特徴認識能力の背後にある認識プロセスを正当化するためにしばしば苦労するためです。たとえば、指の爪の表面の特定のテクスチャがより特徴的である理由を正確に説明することは困難ですペットボトルではなくこの論文では、ディープラーニングモデルが実際に人間の専門家が自分の低レベルの視覚認識プロセスを正当化するのに役立つアプリケーションを紹介します:表面の顕微鏡写真から銅板の接着力を評価する問題を研究します。高度な訓練を受けた材料の専門家は、表面接着力を定性的に評価できますが、多くの場合、決定プロセスを正確に正当化することはできません。慎重な設計の考慮の下で、人間の専門家が自分の認識プロセスを理解し、正当化するための視覚的な手がかりを提供できるモデルを提示します。このモデルは、表面特性の解釈において専門家を支援するだけでなく、このモデルを使用して異なる製造プロセスに対する銅表面応答の異なる仮説をテストする方法を示します。
Deep Neural Networks are often though to lack interpretability due to the distributed nature of their internal representations. In contrast, humans can generally justify, in natural language, for their answer to a visual question with simple common sense reasoning. However, human introspection abilities have their own limits as one often struggles to justify for the recognition process behind our lowest level feature recognition ability: for instance, it is difficult to precisely explain why a given texture seems more characteristic of the surface of a finger nail rather than a plastic bottle. In this paper, we showcase an application in which deep learning models can actually help human experts justify for their own low-level visual recognition process: We study the problem of assessing the adhesive potency of copper sheets from microscopic pictures of their surface. Although highly trained material experts are able to qualitatively assess the surface adhesive potency, they are often unable to precisely justify for their decision process. We present a model that, under careful design considerations, is able to provide visual clues for human experts to understand and justify for their own recognition process. Not only can our model assist human experts in their interpretation of the surface characteristics, we show how this model can be used to test different hypothesis of the copper surface response to different manufacturing processes.