arXiv reaDer
プログレッシブワンショットヒューマン解析
Progressive One-shot Human Parsing
以前の人間の解析モデルは、トレーニングデータで事前定義されたクラスに人間を解析することに限定されていました。これは、ファッション分析の新しい服など、目に見えないクラスに一般化する柔軟性がありません。この論文では、単一の参照例によって定義された参照クラスのオープンセットに人間を解析する必要があるワンショット人間解析(OSHP)という名前の新しい問題を提案します。トレーニング中は、トレーニングセットで定義された基本クラスのみが公開され、参照クラスの一部と重複する可能性があります。このホワイトペーパーでは、バイアスのテストとサイズの小ささという2つの重要な課題に対処するために、新しいプログレッシブワンショット解析ネットワーク(POPNet)を考案しました。 POPNetは、Attention GuidanceModuleとNearestCentroid Moduleという名前の2つの協調的なメトリック学習モジュールで構成されています。これらは、基本クラスの代表的なプロトタイプを学習し、テスト中に見えないクラスに機能をすばやく転送して、テストのバイアスを減らします。さらに、POPNetは、親クラスの学習した知識を粗い粒度で組み込むことができるプログレッシブヒューマン解析フレームワークを採用して、子孫クラスを細かい粒度で認識できるようにし、それによって小さなサイズの問題を処理します。 OSHP用に調整されたATR-OSベンチマークでの実験は、POPNetが他の代表的なワンショットセグメンテーションモデルを大幅に上回り、強力なベースラインを確立していることを示しています。ソースコードはhttps://github.com/Charleshhy/One-shot-Human-Parsingにあります。
Prior human parsing models are limited to parsing humans into classes pre-defined in the training data, which is not flexible to generalize to unseen classes, e.g., new clothing in fashion analysis. In this paper, we propose a new problem named one-shot human parsing (OSHP) that requires to parse human into an open set of reference classes defined by any single reference example. During training, only base classes defined in the training set are exposed, which can overlap with part of reference classes. In this paper, we devise a novel Progressive One-shot Parsing network (POPNet) to address two critical challenges , i.e., testing bias and small sizes. POPNet consists of two collaborative metric learning modules named Attention Guidance Module and Nearest Centroid Module, which can learn representative prototypes for base classes and quickly transfer the ability to unseen classes during testing, thereby reducing testing bias. Moreover, POPNet adopts a progressive human parsing framework that can incorporate the learned knowledge of parent classes at the coarse granularity to help recognize the descendant classes at the fine granularity, thereby handling the small sizes issue. Experiments on the ATR-OS benchmark tailored for OSHP demonstrate POPNet outperforms other representative one-shot segmentation models by large margins and establishes a strong baseline. Source code can be found at https://github.com/Charleshhy/One-shot-Human-Parsing.
updated: Fri May 07 2021 11:51:23 GMT+0000 (UTC)
published: Tue Dec 22 2020 03:06:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト