グラフ畳み込みネットワーク(GCN)は、片手再構成タスクで大きな成功を収めましたが、GCNによる両手再構成の相互作用は未踏のままです。この論文では、単一のRGB画像から2つの相互作用する手を再構築する最初のグラフ畳み込みベースのネットワークであるInteracting Attention Graph Hand(IntagHand)を紹介します。両手の再構成の閉塞と相互作用の課題を解決するために、元のGCNの各アップサンプリングステップに2つの新しい注意ベースのモジュールを導入します。最初のモジュールは、ピラミッド画像機能アテンション(PIFA)モジュールです。このモジュールは、多重解像度機能を利用して、頂点と画像の位置合わせを暗黙的に取得します。 2番目のモジュールは、2つの手の頂点間に密なクロスアテンションを構築することにより、相互作用する手のコヒーレンスをエンコードするクロスハンドアテンション(CHA)モジュールです。その結果、私たちのモデルは、InterHand2.6Mベンチマークで、既存のすべての両手再構成方法を大幅に上回っています。さらに、アブレーション研究は、再構成の精度を向上させるためのPIFAモジュールとCHAモジュールの両方の有効性を検証します。野生の画像の結果は、私たちのネットワークの一般化能力をさらに示しています。私たちのコードはhttps://github.com/Dw1010/IntagHandで入手できます。
Graph convolutional network (GCN) has achieved great success in single hand reconstruction task, while interacting two-hand reconstruction by GCN remains unexplored. In this paper, we present Interacting Attention Graph Hand (IntagHand), the first graph convolution based network that reconstructs two interacting hands from a single RGB image. To solve occlusion and interaction challenges of two-hand reconstruction, we introduce two novel attention based modules in each upsampling step of the original GCN. The first module is the pyramid image feature attention (PIFA) module, which utilizes multiresolution features to implicitly obtain vertex-to-image alignment. The second module is the cross hand attention (CHA) module that encodes the coherence of interacting hands by building dense cross-attention between two hand vertices. As a result, our model outperforms all existing two-hand reconstruction methods by a large margin on InterHand2.6M benchmark. Moreover, ablation studies verify the effectiveness of both PIFA and CHA modules for improving the reconstruction accuracy. Results on in-the-wild images further demonstrate the generalization ability of our network. Our code is available at https://github.com/Dw1010/IntagHand.