arXiv reaDer
ARCTIC: 器用な両手操作用のデータセット
ARCTIC: A Dataset for Dexterous Bimanual Hand-Object Manipulation
人間は、無生物はそれ自体では動かないが、通常、状態の変化は人間の操作 (たとえば、本を開く) によって引き起こされることを直感的に理解しています。これはまだマシンには当てはまりません。これは、手や多関節オブジェクトの物理的に一貫した同期動作を研究するための、グラウンド トゥルース 3D 注釈を含むデータセットが存在しないことが原因の 1 つです。この目的のために、ARCTIC を導入します。これは、物体を巧みに操作する 2 つの手のデータセットであり、正確な 3D の手と物体のメッシュ、および詳細で動的な接触情報とペアになった 210 万のビデオ フレームが含まれています。はさみやラップトップなどのオブジェクトの両手によるアーティキュレーションが含まれており、手のポーズとオブジェクトの状態が時間とともに一緒に進化します。 (1) 一貫した動きの再構築: 単眼ビデオが与えられた場合、目標は 2 つの手と関節のあるオブジェクトを 3D で再構築し、それらの動きが時空間的に一貫しているようにすることです。 (2) 相互作用場の推定: 密な相対的な手と物体の距離を画像から推定する必要があります。 ArcticNet と InterField の 2 つのベースラインをそれぞれ導入し、ARCTIC で定性的および定量的に評価します。コードとデータは https://arctic.is.tue.mpg.de で入手できます。
Humans intuitively understand that inanimate objects do not move by themselves, but that state changes are typically caused by human manipulation (e.g., the opening of a book). This is not yet the case for machines. In part this is because there exist no datasets with ground-truth 3D annotations for the study of physically consistent and synchronised motion of hands and articulated objects. To this end, we introduce ARCTIC -- a dataset of two hands that dexterously manipulate objects, containing 2.1M video frames paired with accurate 3D hand and object meshes and detailed, dynamic contact information. It contains bi-manual articulation of objects such as scissors or laptops, where hand poses and object states evolve jointly in time. We propose two novel articulated hand-object interaction tasks: (1) Consistent motion reconstruction: Given a monocular video, the goal is to reconstruct two hands and articulated objects in 3D, so that their motions are spatio-temporally consistent. (2) Interaction field estimation: Dense relative hand-object distances must be estimated from images. We introduce two baselines ArcticNet and InterField, respectively and evaluate them qualitatively and quantitatively on ARCTIC. Our code and data are available at https://arctic.is.tue.mpg.de.
updated: Sun Apr 23 2023 13:11:57 GMT+0000 (UTC)
published: Thu Apr 28 2022 17:23:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト