2DRGB画像から3Dハンドメッシュを生成するための回転同変モデルを開発します。これにより、手の入力画像が回転すると、生成されたメッシュが対応する回転を受けることが保証されます。さらに、これにより、回転の同変性のない方法で生成されることが多いメッシュの望ましくない変形が除去されます。回転同変モデルを構築することにより、問題の対称性を考慮することにより、優れたメッシュ再構成を実現するために非常に大きなデータセットでトレーニングする必要性を減らします。エンコーダーは、Z ^ 2で定義された画像を取得し、これらをグループC_8で定義された潜在関数にマップします。 C_8で定義された関数を、グループSO(2)で定義された潜在的な点群空間にマッピングするための新しいベクトルマッピング関数を紹介します。さらに、SO(2)潜在空間から3D関数を学習する3D射影関数を紹介します。最後に、SO(3)同変デコーダーを使用して回転等分散性を確保します。私たちの回転同変モデルは、実際のデータセットの最先端の方法よりも優れており、入力手の回転の下で生成されたメッシュの形状とポーズを正確にキャプチャすることを示しています。
We develop a rotation equivariant model for generating 3D hand meshes from 2D RGB images. This guarantees that as the input image of a hand is rotated the generated mesh undergoes a corresponding rotation. Furthermore, this removes undesirable deformations in the meshes often generated by methods without rotation equivariance. By building a rotation equivariant model, through considering symmetries in the problem, we reduce the need for training on very large datasets to achieve good mesh reconstruction. The encoder takes images defined on Z^2 and maps these to latent functions defined on the group C_8. We introduce a novel vector mapping function to map the function defined on C_8 to a latent point cloud space defined on the group SO(2). Further, we introduce a 3D projection function that learns a 3D function from the SO(2) latent space. Finally, we use an SO(3) equivariant decoder to ensure rotation equivariance. Our rotation equivariant model outperforms state-of-the-art methods on a real-world dataset and we demonstrate that it accurately captures the shape and pose in the generated meshes under rotation of the input hand.