arXiv reaDer
DART: 多彩な付属品と豊かな質感を備えた多関節ハンドモデル
DART: Articulated Hand Model with Diverse Accessories and Rich Textures
人間の生産性と知性を担う「手」は、昨今のデジタルツインブームにより注目を集めています。さまざまな手のモーフィング モデルの中で、MANO はビジョンおよびグラフィックス コミュニティで広く使用されています。ただし、MANO はテクスチャとアクセサリを無視するため、フォトリアリスティックな手のデータを合成する能力が大幅に制限されます。このホワイト ペーパーでは、MANO を多様なアクセサリとリッチ テクスチャ、つまり DART で拡張します。 DART は、外観と形状が異なる 50 の毎日の 3D アクセサリで構成され、325 の手作りの 2D テクスチャ マップがさまざまな種類のシミやメイクアップをカバーします。 Unity GUI も提供されており、ユーザー定義の設定 (ポーズ、カメラ、背景、照明、テクスチャ、アクセサリーなど) を使用して合成ハンド データを生成できます。最後に、完全に配置された 3D ラベルと組み合わせた、大規模 (800K) で忠実度の高い合成手の画像を含む DARTset をリリースします。実験は、多様性におけるその優位性を示しています。既存の手のデータセットを補完するものとして、DARTset は、手の姿勢推定とメッシュ復元タスクの両方で一般化を促進します。原材料 (テクスチャ、アクセサリー)、Unity GUI、ソースコード、および DARTset は、dart2022.github.io で公開されています。
Hand, the bearer of human productivity and intelligence, is receiving much attention due to the recent fever of digital twins. Among different hand morphable models, MANO has been widely used in vision and graphics community. However, MANO disregards textures and accessories, which largely limits its power to synthesize photorealistic hand data. In this paper, we extend MANO with Diverse Accessories and Rich Textures, namely DART. DART is composed of 50 daily 3D accessories which varies in appearance and shape, and 325 hand-crafted 2D texture maps covers different kinds of blemishes or make-ups. Unity GUI is also provided to generate synthetic hand data with user-defined settings, e.g., pose, camera, background, lighting, textures, and accessories. Finally, we release DARTset, which contains large-scale (800K), high-fidelity synthetic hand images, paired with perfect-aligned 3D labels. Experiments demonstrate its superiority in diversity. As a complement to existing hand datasets, DARTset boosts the generalization in both hand pose estimation and mesh recovery tasks. Raw ingredients (textures, accessories), Unity GUI, source code and DARTset are publicly available at dart2022.github.io
updated: Fri Oct 14 2022 09:06:08 GMT+0000 (UTC)
published: Fri Oct 14 2022 09:06:08 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト