arXiv reaDer
一般化可能な人物の再識別のために、実世界の画像から3Dキャラクターに衣装を複製する
Cloning Outfits from Real-World Images to 3D Characters for Generalizable Person Re-Identification
最近、大規模な合成データセットは、一般化可能な個人の再識別に非常に役立つことが示されています。ただし、既存のデータセットで合成された人物は、ほとんどが漫画のようで、ランダムなドレスのコロケーションにあるため、パフォーマンスが制限されます。これに対処するために、この作業では、実際の人物の画像から仮想の3Dキャラクターに衣装全体を直接複製する自動アプローチを提案します。これにより、このように作成された仮想の人物は、実際の人物と非常によく似たものになります。具体的には、UVテクスチャマッピングに基づいて、登録された衣服のマッピングと均一な布の拡張という2つのクローン作成方法が設計されています。人物画像で検出され、明確な衣服構造を持つ通常のUVマップでラベル付けされた衣服のキーポイントが与えられると、登録されたマッピングは遠近法ホモグラフィを適用して、実際の衣服をUVマップ上の対応する衣服にワープします。目に見えない衣服の部分と不規則なUVマップについては、均一な拡張により、衣服の均一な領域が現実的な布のパターンまたはセルとしてセグメント化され、セルが拡張されてUVマップが塗りつぶされます。さらに、人物画像をクラスタリングし、クラスターごとに画像をサンプリングし、3Dキャラクター生成のために衣装を複製することにより、類似性-多様性拡張戦略が提案されます。このようにして、仮想人物を視覚的類似性で密にスケールアップしてモデル学習に挑戦し、人口を多様化してサンプル分布を充実させることができます。最後に、Unity3Dシーンでクローンされたキャラクターをレンダリングすることにより、ClonedPersonと呼ばれるより現実的な仮想データセットが作成され、5,621個のIDと887,766個の画像が含まれます。実験結果は、ClonedPersonでトレーニングされたモデルが、他の一般的な実世界および合成の人物再識別データセットでトレーニングされたモデルよりも優れた一般化パフォーマンスを持っていることを示しています。 ClonedPersonプロジェクトは、https://github.com/Yanan-Wang-cs/ClonedPersonで入手できます。
Recently, large-scale synthetic datasets are shown to be very useful for generalizable person re-identification. However, synthesized persons in existing datasets are mostly cartoon-like and in random dress collocation, which limits their performance. To address this, in this work, an automatic approach is proposed to directly clone the whole outfits from real-world person images to virtual 3D characters, such that any virtual person thus created will appear very similar to its real-world counterpart. Specifically, based on UV texture mapping, two cloning methods are designed, namely registered clothes mapping and homogeneous cloth expansion. Given clothes keypoints detected on person images and labeled on regular UV maps with clear clothes structures, registered mapping applies perspective homography to warp real-world clothes to the counterparts on the UV map. As for invisible clothes parts and irregular UV maps, homogeneous expansion segments a homogeneous area on clothes as a realistic cloth pattern or cell, and expand the cell to fill the UV map. Furthermore, a similarity-diversity expansion strategy is proposed, by clustering person images, sampling images per cluster, and cloning outfits for 3D character generation. This way, virtual persons can be scaled up densely in visual similarity to challenge model learning, and diversely in population to enrich sample distribution. Finally, by rendering the cloned characters in Unity3D scenes, a more realistic virtual dataset called ClonedPerson is created, with 5,621 identities and 887,766 images. Experimental results show that the model trained on ClonedPerson has a better generalization performance, superior to that trained on other popular real-world and synthetic person re-identification datasets. The ClonedPerson project is available at https://github.com/Yanan-Wang-cs/ClonedPerson.
updated: Thu Apr 07 2022 08:39:59 GMT+0000 (UTC)
published: Wed Apr 06 2022 06:41:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト