arXiv reaDer
一般化されたゼロショット学習のための意味論の解きほぐし
Semantics Disentangling for Generalized Zero-Shot Learning
一般化ゼロショット学習(GZSL)は、一部のクラスがトレーニング中に観察できないという仮定の下でサンプルを分類することを目的としています。表示されているクラスと表示されていないクラスの間のギャップを埋めるために、ほとんどのGZSLメソッドは、表示されているクラスの視覚的特徴を属性に関連付けたり、表示されていないサンプルを直接生成しようとします。それにもかかわらず、以前のアプローチで使用された視覚的特徴は、共有属性が参照する意味的に関連する情報を必ずしもエンコードしないため、モデルの一般化が見えないクラスに低下します。この問題に対処するために、この論文では、一般化されたゼロショット学習タスク(SDGZSL)の新しいセマンティクス解きほぐしフレームワークを提案します。ここでは、見えないクラスの視覚的特徴が最初に条件付きVAEによって推定され、次にセマンティック整合性とセマンティックに関係のない潜在ベクトル。特に、2つの因数分解された表現間の独立性を保証するために、合計相関ペナルティが適用され、その意味的一貫性は、派生関係ネットワークによって測定されます。 4つのGZSLベンチマークデータセットで実施された広範な実験により、提案されたSDGZSLによって解きほぐされた意味的に一貫した機能は、標準的で一般化されたゼロショット学習のタスクでより一般化できることが証明されました。ソースコードはhttps://github.com/uqzhichen/SDGZSLで入手できます。
Generalized zero-shot learning (GZSL) aims to classify samples under the assumption that some classes are not observable during training. To bridge the gap between the seen and unseen classes, most GZSL methods attempt to associate the visual features of seen classes with attributes or to generate unseen samples directly. Nevertheless, the visual features used in the prior approaches do not necessarily encode semantically related information that the shared attributes refer to, which degrades the model generalization to unseen classes. To address this issue, in this paper, we propose a novel semantics disentangling framework for the generalized zero-shot learning task (SDGZSL), where the visual features of unseen classes are firstly estimated by a conditional VAE and then factorized into semantic-consistent and semantic-unrelated latent vectors. In particular, a total correlation penalty is applied to guarantee the independence between the two factorized representations, and the semantic consistency of which is measured by the derived relation network. Extensive experiments conducted on four GZSL benchmark datasets have evidenced that the semantic-consistent features disentangled by the proposed SDGZSL are more generalizable in tasks of canonical and generalized zero-shot learning. Our source code is available at https://github.com/uqzhichen/SDGZSL.
updated: Mon Aug 16 2021 04:25:32 GMT+0000 (UTC)
published: Wed Jan 20 2021 05:46:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト