arXiv reaDer
RepParser: 代表部分を使用したエンド ツー エンドの複数人による解析
RepParser: End-to-End Multiple Human Parsing with Representative Parts
複数の人間による解析の既存の方法は、通常、2 段階の戦略 (通常はトップダウンとボトムアップ) を採用しています。この作業では、RepParser と呼ばれる代表的な部分を使用して、エンドツーエンドの複数の人間による解析フレームワークを提示します。主流の方法とは異なり、RepParser は複数のヒューマン解析を新しい単一段階の方法で解決します。このため、RepParser は解析パイプラインをインスタンス対応のカーネル生成と部分対応のヒューマン解析に分離します。インスタンスの分離とインスタンス固有のパーツのセグメンテーションをそれぞれ担当します。特に、代表的な部分によって解析パイプラインを強化します。これは、代表的な部分がインスタンス対応のキーポイントによって特徴付けられ、各人のインスタンスを動的に解析するために利用できるためです。具体的には、代表部位は、インスタンスの中心を共同で特定し、身体部位領域のキーポイントを推定することによって取得されます。その後、代表的な部分を介してインスタンス対応の畳み込みカーネルを動的に予測し、インスタンス固有の表現として画像の特徴をキャストする役割を担う各カーネルに人物部分のコンテキストをエンコードします。さらに、各インスタンスを分割するためにマルチブランチ構造が採用されています。このように、RepParser はそれに応じて、代表的なパーツのガイダンスを使用して人物インスタンスに焦点を当て、各人物インスタンスの解析結果を直接出力するため、事前の検出またはポストの要件を排除します。 -grouping.2 つの挑戦的なベンチマークでの広範な実験は、提案された RepParser がシンプルでありながら効果的なフレームワークであり、非常に競争力のあるパフォーマンスを達成することを示しています。
Existing methods of multiple human parsing usually adopt a two-stage strategy (typically top-down and bottom-up), which suffers from either strong dependence on prior detection or highly computational redundancy during post-grouping. In this work, we present an end-to-end multiple human parsing framework using representative parts, termed RepParser. Different from mainstream methods, RepParser solves the multiple human parsing in a new single-stage manner without resorting to person detection or post-grouping.To this end, RepParser decouples the parsing pipeline into instance-aware kernel generation and part-aware human parsing, which are responsible for instance separation and instance-specific part segmentation, respectively. In particular, we empower the parsing pipeline by representative parts, since they are characterized by instance-aware keypoints and can be utilized to dynamically parse each person instance. Specifically, representative parts are obtained by jointly localizing centers of instances and estimating keypoints of body part regions. After that, we dynamically predict instance-aware convolution kernels through representative parts, thus encoding person-part context into each kernel responsible for casting an image feature as an instance-specific representation.Furthermore, a multi-branch structure is adopted to divide each instance-specific representation into several part-aware representations for separate part segmentation.In this way, RepParser accordingly focuses on person instances with the guidance of representative parts and directly outputs parsing results for each person instance, thus eliminating the requirement of the prior detection or post-grouping.Extensive experiments on two challenging benchmarks demonstrate that our proposed RepParser is a simple yet effective framework and achieves very competitive performance.
updated: Sat Aug 27 2022 02:22:24 GMT+0000 (UTC)
published: Sat Aug 27 2022 02:22:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト