単一のRGB画像から手のポーズを推定するための新しいマルチストリーム3Dメッシュ再構成ネットワーク(MSMR-Net)を紹介します。私たちのモデルは、画像エンコーダーと、それに続く接続されたグラフ畳み込みレイヤーで構成されるメッシュ畳み込みデコーダーで構成されています。単一のメッシュデコードパスを形成する以前のモデルとは対照的に、当社のデコーダーネットワークには、並行して実行される複数のクロスレゾリューション軌道が組み込まれています。したがって、グローバル情報とローカル情報が共有され、単一の軌道ネットワークと比較してわずかな追加パラメータコストで豊富なデコード表現を形成します。さまざまなレベルのインタラクションで、手と手とオブジェクトのインタラクションシナリオでのメソッドの有効性を示します。前者のシナリオを評価するために、密接に相互作用する手のRGB画像を生成する方法を提案します。さらに、相互作用の程度を定量化するための測定基準を提案し、近接した相互作用が特に困難であることを示します。実験結果は、MSMR-Netが、ハンドオブジェクトFreiHANDデータセットおよび独自のハンドハンドデータセットで既存のアルゴリズムよりも優れていることを示しています。
We present a new multi-stream 3D mesh reconstruction network (MSMR-Net) for hand pose estimation from a single RGB image. Our model consists of an image encoder followed by a mesh-convolution decoder composed of connected graph convolution layers. In contrast to previous models that form a single mesh decoding path, our decoder network incorporates multiple cross-resolution trajectories that are executed in parallel. Thus, global and local information are shared to form rich decoding representations at minor additional parameter cost compared to the single trajectory network. We demonstrate the effectiveness of our method in hand-hand and hand-object interaction scenarios at various levels of interaction. To evaluate the former scenario, we propose a method to generate RGB images of closely interacting hands. Moreoever, we suggest a metric to quantify the degree of interaction and show that close hand interactions are particularly challenging. Experimental results show that the MSMR-Net outperforms existing algorithms on the hand-object FreiHAND dataset as well as on our own hand-hand dataset.