画像やビデオなどのマルチメディア素材からの手の情報を分析して理解することは、多くの実際のアプリケーションにとって重要であり、研究コミュニティで活発に活動しています。単一の画像から手の情報を復元することに焦点を当てたさまざまな作業がありますが、通常、ハンドマスクのセグメンテーション、2D / 3Dの手のポーズの推定、ハンドメッシュの再構築など、単一のタスクを解決し、困難なシナリオではうまく機能しません。これらのタスクのパフォーマンスをさらに向上させるために、これらのタスク間の関係を共同で検討することにより、単一のRGB画像から手のオブジェクトの包括的な情報を抽出する新しい手画像理解(HIU)フレームワークを提案します。この目標を達成するために、カスケードマルチタスク学習(MTL)バックボーンは、2Dヒートマップを推定し、セグメンテーションマスクを学習し、中間の3D情報エンコーディングを生成するように設計されています。自己管理型の学習戦略。定性的実験は、私たちのアプローチが困難な状況でも合理的なメッシュ表現を回復できることを示しています。定量的には、私たちの方法は、さまざまな評価指標の点で、広く使用されているさまざまなデータセットに対する最先端のアプローチを大幅に上回っています。
Analyzing and understanding hand information from multimedia materials like images or videos is important for many real world applications and remains active in research community. There are various works focusing on recovering hand information from single image, however, they usually solve a single task, for example, hand mask segmentation, 2D/3D hand pose estimation, or hand mesh reconstruction and perform not well in challenging scenarios. To further improve the performance of these tasks, we propose a novel Hand Image Understanding (HIU) framework to extract comprehensive information of the hand object from a single RGB image, by jointly considering the relationships between these tasks. To achieve this goal, a cascaded multi-task learning (MTL) backbone is designed to estimate the 2D heat maps, to learn the segmentation mask, and to generate the intermediate 3D information encoding, followed by a coarse-to-fine learning paradigm and a self-supervised learning strategy. Qualitative experiments demonstrate that our approach is capable of recovering reasonable mesh representations even in challenging situations. Quantitatively, our method significantly outperforms the state-of-the-art approaches on various widely-used datasets, in terms of diverse evaluation metrics.