arXiv reaDer
一般化されたゼロショット学習のための2レベルの敵対的視覚意味結合
Two-Level Adversarial Visual-Semantic Coupling for Generalized Zero-shot Learning
生成的ゼロショットメソッドのパフォーマンスは、主に、生成された機能の品質と、モデルが視覚ドメインとセマンティックドメイン間の知識の伝達をどの程度促進するかに依存します。生成された特徴の品質は、基礎となるデータ分布のいくつかのモードをキャプチャするモデルの機能の直接的な結果です。これらの問題に対処するために、トレーニング中に生成ネットワークを推論ネットワークで補強する新しい2レベルの共同最大化のアイデアを提案します。これにより、モデルがデータのいくつかのモードをキャプチャし、基になるデータ分布をより適切に表す機能を生成できます。これにより、視覚ドメインとセマンティックドメインの間で知識を効果的に伝達するための強力なクロスモーダル相互作用が提供されます。さらに、既存の方法は、合成画像の特徴を生成するか、表現学習を活用して生成された潜在的な埋め込みのいずれかでゼロショット分類器をトレーニングします。この作業では、これらのパラダイムを単一のモデルに統合します。このモデルは、画像の特徴を合成するだけでなく、推論ネットワークの表現学習機能を利用して、最終的なゼロショット認識タスクの識別機能を提供します。 4つのベンチマークデータセット、つまりCUB、FLO、AWA1、AWA2でのアプローチを、いくつかの最先端の方法と比較して評価し、そのパフォーマンスを示します。また、一般化ゼロショット学習タスクの方法をより注意深く分析および理解するために、アブレーション研究を実行します。
The performance of generative zero-shot methods mainly depends on the quality of generated features and how well the model facilitates knowledge transfer between visual and semantic domains. The quality of generated features is a direct consequence of the ability of the model to capture the several modes of the underlying data distribution. To address these issues, we propose a new two-level joint maximization idea to augment the generative network with an inference network during training which helps our model capture the several modes of the data and generate features that better represent the underlying data distribution. This provides strong cross-modal interaction for effective transfer of knowledge between visual and semantic domains. Furthermore, existing methods train the zero-shot classifier either on generate synthetic image features or latent embeddings produced by leveraging representation learning. In this work, we unify these paradigms into a single model which in addition to synthesizing image features, also utilizes the representation learning capabilities of the inference network to provide discriminative features for the final zero-shot recognition task. We evaluate our approach on four benchmark datasets i.e. CUB, FLO, AWA1 and AWA2 against several state-of-the-art methods, and show its performance. We also perform ablation studies to analyze and understand our method more carefully for the Generalized Zero-shot Learning task.
updated: Mon Nov 30 2020 11:00:45 GMT+0000 (UTC)
published: Wed Jul 15 2020 15:34:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト