手と物体の画像から手と物体の形状を正確に3Dで再構成することは、人間と物体の相互作用や人間の日常活動を理解するために重要です。素手ポーズ推定とは異なり、手とオブジェクトの相互作用は、手とその操作されたオブジェクトの両方に強い制約を課します。これは、手の構成がオブジェクトの重要なコンテキスト情報であり、逆もまた同様であることを示唆しています。ただし、現在のアプローチでは、2つのブランチ間の通信をほとんど行わずに2つのブランチネットワークをトレーニングして手とオブジェクトを別々に再構築することで、このタスクに対処しています。この作業では、特徴空間で手とオブジェクトを一緒に検討し、2つのブランチの相互関係を調査することを提案します。 MLPまたはLSTMユニットを使用した分岐間機能融合アーキテクチャを広範囲に調査します。調査されたアーキテクチャの中で、LSTMユニットを備えたバリエーションで、手の特徴でオブジェクトの特徴を強化したものが、最高のパフォーマンス向上を示しています。さらに、補助深度推定モジュールを使用して、推定された深度マップで入力RGB画像を増強します。これにより、再構成の精度がさらに向上します。公開データセットに対して実施された実験は、オブジェクトの再構成精度の点で、私たちのアプローチが既存のアプローチを大幅に上回っていることを示しています。
Accurate 3D reconstruction of the hand and object shape from a hand-object image is important for understanding human-object interaction as well as human daily activities. Different from bare hand pose estimation, hand-object interaction poses a strong constraint on both the hand and its manipulated object, which suggests that hand configuration may be crucial contextual information for the object, and vice versa. However, current approaches address this task by training a two-branch network to reconstruct the hand and object separately with little communication between the two branches. In this work, we propose to consider hand and object jointly in feature space and explore the reciprocity of the two branches. We extensively investigate cross-branch feature fusion architectures with MLP or LSTM units. Among the investigated architectures, a variant with LSTM units that enhances object feature with hand feature shows the best performance gain. Moreover, we employ an auxiliary depth estimation module to augment the input RGB image with the estimated depth map, which further improves the reconstruction accuracy. Experiments conducted on public datasets demonstrate that our approach significantly outperforms existing approaches in terms of the reconstruction accuracy of objects.