arXiv reaDer
複数人のパーツのセグメンテーションにポーズを使用したクロスドメイン補完学習
Cross-Domain Complementary Learning Using Pose for Multi-Person Part Segmentation
 ピクセル単位のトレーニングラベルを使用した教師ありディープラーニングは、複数人のパーツのセグメンテーションで大きな成功を収めています。ただし、ピクセルレベルでのデータのラベル付けは非常に高価です。この問題を解決するために、人々は合成データを使用してデータのラベル付けを回避することを模索しています。合成データのラベルを生成するのは簡単ですが、実際のデータと手動のラベル付けを使用する場合に比べて、結果ははるかに悪いです。パフォーマンスの低下は、主にドメインギャップ、つまり実際のデータと合成データの間のピクセル値統計の不一致が原因です。この論文では、実際の人間と合成の人間の両方が骨格(ポーズ)表現を持っていることを観察します。スケルトンは、トレーニング中に合成ドメインと実際のドメインを効果的にブリッジできることがわかりました。私たちの提案するアプローチは、実際のデータの豊富で現実的なバリエーションと合成データの簡単に取得できるラベルを利用して、人間が注釈を付けたラベルのない実際の画像で複数人のパーツのセグメンテーションを学習します。実験を通じて、人間のラベリングなしで、Pascal-Person-PartsおよびCOCO-DensePoseデータセットでの人間のラベリングを必要とするいくつかの最先端のアプローチと同等に機能することを示しています。一方、トレーニング中にパーツラベルが実際の画像でも利用できる場合、この手法は、監視された最新の手法よりもはるかに優れています。さらに、新しいキーポイントの検出に実際のデータラベルが利用できない場合に、実際の画像で新しいキーポイントを予測する方法の一般化可能性を示します。コードと事前トレーニング済みモデルは、https://github.com/kevinlin311tw/CDCL-human-part-segmentationで入手できます
Supervised deep learning with pixel-wise training labels has great successes on multi-person part segmentation. However, data labeling at pixel-level is very expensive. To solve the problem, people have been exploring to use synthetic data to avoid the data labeling. Although it is easy to generate labels for synthetic data, the results are much worse compared to those using real data and manual labeling. The degradation of the performance is mainly due to the domain gap, i.e., the discrepancy of the pixel value statistics between real and synthetic data. In this paper, we observe that real and synthetic humans both have a skeleton (pose) representation. We found that the skeletons can effectively bridge the synthetic and real domains during the training. Our proposed approach takes advantage of the rich and realistic variations of the real data and the easily obtainable labels of the synthetic data to learn multi-person part segmentation on real images without any human-annotated labels. Through experiments, we show that without any human labeling, our method performs comparably to several state-of-the-art approaches which require human labeling on Pascal-Person-Parts and COCO-DensePose datasets. On the other hand, if part labels are also available in the real-images during training, our method outperforms the supervised state-of-the-art methods by a large margin. We further demonstrate the generalizability of our method on predicting novel keypoints in real images where no real data labels are available for the novel keypoints detection. Code and pre-trained models are available at https://github.com/kevinlin311tw/CDCL-human-part-segmentation
updated: Thu May 14 2020 00:22:29 GMT+0000 (UTC)
published: Thu Jul 11 2019 13:47:18 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト