arXiv reaDer
Why do These Match? Explaining the Behavior of Image Similarity Models
深層学習モデルを説明すると、ユーザーがその動作を理解し、研究者がその欠点を識別できるようになります。最近の研究は主に、画像分類や視覚的な質問応答などのタスクのモデルの説明に焦点を当てています。このペーパーでは、ネットワーク類似性(SANE)の顕著な属性を導入して画像類似性モデルを説明します。モデルの出力は、分類スコアではなく2つの入力の類似性を測定するスコアです。このタスクでは、説明は両方の入力画像に依存するため、標準の方法は適用されません。 SANEの説明では、重要な画像領域を識別する顕著性マップと、一致を最もよく説明する属性を組み合わせています。私たちの説明は、通常は顕著性マップだけではキャプチャされない追加情報を提供し、属性認識の従来のタスクのパフォーマンスも向上させることができることがわかりました。私たちのアプローチの一般化能力は、多様なドメインの2つのデータセット、Polyvore OutfitsとAttributes 2.のアニマルで実証されています。コードはで入手できます。
Explaining a deep learning model can help users understand its behavior and allow researchers to discern its shortcomings. Recent work has primarily focused on explaining models for tasks like image classification or visual question answering. In this paper, we introduce Salient Attributes for Network Explanation (SANE) to explain image similarity models, where a model's output is a score measuring the similarity of two inputs rather than a classification score. In this task, an explanation depends on both of the input images, so standard methods do not apply. Our SANE explanations pairs a saliency map identifying important image regions with an attribute that best explains the match. We find that our explanations provide additional information not typically captured by saliency maps alone, and can also improve performance on the classic task of attribute recognition. Our approach's ability to generalize is demonstrated on two datasets from diverse domains, Polyvore Outfits and Animals with Attributes 2. Code available at:
updated: Mon Aug 24 2020 16:14:37 GMT+0000 (UTC)
published: Sun May 26 2019 12:48:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト