この論文では、プロトタイプ理論の基礎に触発された新しい意味記述アプローチを紹介します。オブジェクトカテゴリのセマンティックプロトタイプであるセマンティックプロトタイプをエンコードおよび格納する計算プロトタイプモデル(CPM)を提案します。また、CPMモデルを使用してオブジェクトの機能を記述しながら、オブジェクトのセマンティックな意味をエンコードするプロトタイプベースの記述モデルを導入します。記述方法は、CNN分類モデルによって計算されたセマンティックプロトタイプを使用して、カテゴリ内で最も特徴的な機能を強調するオブジェクトを記述する識別シグネチャを作成します。私たちの実験は次のことを示しています。i)CPMモデル(意味プロトタイプ+距離メトリック)は、オブジェクトカテゴリの内部意味構造を記述することができます。 ii)セマンティック距離メトリックは、カテゴリ内のオブジェクトの視覚的典型性スコアとして理解できます。 iii)記述子エンコーディングは、意味的に解釈可能であり、クラスタリングおよび分類タスクにおいて他の画像のグローバルエンコーディングよりも大幅に優れています。
In this paper, we introduce a novel semantic description approach inspired on Prototype Theory foundations. We propose a Computational Prototype Model (CPM) that encodes and stores the central semantic meaning of objects category: the semantic prototype. Also, we introduce a Prototype-based Description Model that encodes the semantic meaning of an object while describing its features using our CPM model. Our description method uses semantic prototypes computed by CNN-classifications models to create discriminative signatures that describe an object highlighting its most distinctive features within the category. Our experiments show that: i) our CPM model (semantic prototype + distance metric) is able to describe the internal semantic structure of objects categories; ii) our semantic distance metric can be understood as the object visual typicality score within a category; iii) our descriptor encoding is semantically interpretable and significantly outperforms other image global encodings in clustering and classification tasks.