人物検索やオンラインファッションなどのいくつかのコンピュータビジョンアプリケーションは、人間の説明に依存しています。したがって、インスタンスレベルの人間解析(HP)の使用は、人のセマンティック属性と身体部分をローカライズするため、適切です。しかし、これらの属性をどのように特徴づけるのでしょうか?私たちの知る限り、一部の単一HPデータセットのみが、色、サイズ、および/またはパターン特性を持つ属性を記述しています。このような特性を備えたマルチHPのデータセットは実際には不足しています。この記事では、マルチHPデータセットCIHPに基づいて、これら3種類の特性をカバーする20の新しいラベルを使用したデータセットCCIHPを提案します。さらに、高速でスケーラブルなベースラインとして、変圧器に基づく新しいボトムアップマルチタスク方式であるHPTRを提案します。これは、最も正確なボトムアップ方式に匹敵する精度を持ちながら、最先端のマルチHPの最速の方式です。これにより、人間を正確に描写するための迅速で正確な方法の研究が促進されることを願っています。
Several computer vision applications such as person search or online fashion rely on human description. The use of instance-level human parsing (HP) is therefore relevant since it localizes semantic attributes and body parts within a person. But how to characterize these attributes? To our knowledge, only some single-HP datasets describe attributes with some color, size and/or pattern characteristics. There is a lack of dataset for multi-HP in the wild with such characteristics. In this article, we propose the dataset CCIHP based on the multi-HP dataset CIHP, with 20 new labels covering these 3 kinds of characteristics. In addition, we propose HPTR, a new bottom-up multi-task method based on transformers as a fast and scalable baseline. It is the fastest method of multi-HP state of the art while having precision comparable to the most precise bottom-up method. We hope this will encourage research for fast and accurate methods of precise human descriptions.