arXiv reaDer
Human-Art: 自然と人工のシーンを橋渡しする多目的な人間中心のデータセット
Human-Art: A Versatile Human-Centric Dataset Bridging Natural and Artificial Scenes
人間は太古の昔からさまざまな形で記録されてきました。たとえば、彫刻や絵画は、カメラが発明される前の人間を描写するための主要なメディアでした。ただし、人間の姿勢推定や人間の画像生成など、現在の人間中心のコンピューター ビジョン タスクのほとんどは、現実世界の自然画像のみに焦点を当てています。彫刻、絵画、漫画などの人造人間は一般的に無視されており、これらのシナリオでは既存のモデルが機能しません。生命の抽象化として、アートは自然と人工の両方のシーンに人間を組み込みます。私たちはそれを利用し、Human-Art データセットを導入して、自然と人工のシナリオで関連するタスクを橋渡しします。具体的には、Human-Art には、5 つの自然シナリオと 15 の人工シナリオからの 123,000 を超える人物インスタンスを含む 50,000 の高品質画像が含まれており、境界ボックス、キーポイント、自己接触点、および 2D と 3D の両方で表現された人間のテキスト情報で注釈が付けられています。したがって、さまざまなダウンストリーム タスクに対して包括的で汎用性があります。また、人間の検出、2D および 3D の人間の姿勢推定、画像生成、モーション転送など、関連タスクのベースライン結果と詳細な分析の豊富なセットも提供します。挑戦的なデータセットとして、Human-Art が関連する研究に洞察を提供し、新しい研究課題を切り開くことができることを願っています。
Humans have long been recorded in a variety of forms since antiquity. For example, sculptures and paintings were the primary media for depicting human beings before the invention of cameras. However, most current human-centric computer vision tasks like human pose estimation and human image generation focus exclusively on natural images in the real world. Artificial humans, such as those in sculptures, paintings, and cartoons, are commonly neglected, making existing models fail in these scenarios. As an abstraction of life, art incorporates humans in both natural and artificial scenes. We take advantage of it and introduce the Human-Art dataset to bridge related tasks in natural and artificial scenarios. Specifically, Human-Art contains 50k high-quality images with over 123k person instances from 5 natural and 15 artificial scenarios, which are annotated with bounding boxes, keypoints, self-contact points, and text information for humans represented in both 2D and 3D. It is, therefore, comprehensive and versatile for various downstream tasks. We also provide a rich set of baseline results and detailed analyses for related tasks, including human detection, 2D and 3D human pose estimation, image generation, and motion transfer. As a challenging dataset, we hope Human-Art can provide insights for relevant research and open up new research questions.
updated: Sun Mar 05 2023 20:05:21 GMT+0000 (UTC)
published: Sun Mar 05 2023 20:05:21 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト