日常生活において、人間は手を使って物体を操作します。 AI が日常業務を理解し、操作スキルを学習するには、手で操作されるオブジェクトの形状をモデリングすることが不可欠です。しかし、これまでのアプローチでは、主に事前の形状知識の不足とトレーニング用のデータが不十分なために、手持ちの物体の正確な形状を再構成することが困難でした。図示されているように、マグカップなどの特定の種類のツールを考えると、その形状や外観は無限に変化しますが、人間がそれを操作するための「効果的な」モードやポーズの数は限られています。これは、人間が「マグ」カテゴリ以前の形状を習得しており、リムやハンドルの位置など、さまざまなマグ インスタンスと以前のものとの間の対応関係を迅速に確立できるという事実に起因すると考えられます。これを考慮して、形状変形によるカテゴリレベルの手持ちオブジェクト再構成のための新しい手法 CHORD を提案します。 CHORD は、クラス内オブジェクトを再構築する前にカテゴリカル形状を変形します。正確な再構築を保証するために、外観、形状、相互作用するポーズという 3 種類の認識を CHORD に与えます。さらに、カテゴリレベルの手とオブジェクトの相互作用の新しいデータセット COMIC を構築しました。 COMIC には、豊富なオブジェクト インスタンス、マテリアル、手の操作、視線方向が含まれています。広範な評価により、CHORD は定量的および定性的測定の両方で最先端のアプローチよりも優れていることが示されています。コード、モデル、データセットは https://kailinli.github.io/CHORD で入手できます。
In daily life, humans utilize hands to manipulate objects. Modeling the shape of objects that are manipulated by the hand is essential for AI to comprehend daily tasks and to learn manipulation skills. However, previous approaches have encountered difficulties in reconstructing the precise shapes of hand-held objects, primarily owing to a deficiency in prior shape knowledge and inadequate data for training. As illustrated, given a particular type of tool, such as a mug, despite its infinite variations in shape and appearance, humans have a limited number of 'effective' modes and poses for its manipulation. This can be attributed to the fact that humans have mastered the shape prior of the 'mug' category, and can quickly establish the corresponding relations between different mug instances and the prior, such as where the rim and handle are located. In light of this, we propose a new method, CHORD, for Category-level Hand-held Object Reconstruction via shape Deformation. CHORD deforms a categorical shape prior for reconstructing the intra-class objects. To ensure accurate reconstruction, we empower CHORD with three types of awareness: appearance, shape, and interacting pose. In addition, we have constructed a new dataset, COMIC, of category-level hand-object interaction. COMIC contains a rich array of object instances, materials, hand interactions, and viewing directions. Extensive evaluation shows that CHORD outperforms state-of-the-art approaches in both quantitative and qualitative measures. Code, model, and datasets are available at https://kailinli.github.io/CHORD.