3Dアノテーションを取得するには、制御された環境または合成データセットに制限されているため、実際のシナリオへの一般化が難しい3Dデータセットになります。半教師あり3D手の形状とポーズ推定のコンテキストでこの問題に取り組むために、まばらに注釈が付けられたビデオのラベル付きフレームから近くのラベルなしフレームに3D注釈を伝播するポーズ調整ネットワークを提案します。ラベル付きとラベルなしのフレームのペアに位置合わせ監視を組み込むことで、ポーズ推定の精度を向上できることを示します。さらに、提案されたポーズ調整ネットワークは、微調整することなく、目に見えないまばらにラベル付けされたビデオに注釈を効果的に伝播できることを示します。
To obtain 3D annotations, we are restricted to controlled environments or synthetic datasets, leading us to 3D datasets with less generalizability to real-world scenarios. To tackle this issue in the context of semi-supervised 3D hand shape and pose estimation, we propose the Pose Alignment network to propagate 3D annotations from labelled frames to nearby unlabelled frames in sparsely annotated videos. We show that incorporating the alignment supervision on pairs of labelled-unlabelled frames allows us to improve the pose estimation accuracy. Besides, we show that the proposed Pose Alignment network can effectively propagate annotations on unseen sparsely labelled videos without fine-tuning.