Hand Pose Estimation (HPE) は多くのアプリケーションにとって重要ですが、従来のカメラベースの CM-HPE 手法は、カメラが遮られたオブジェクトをキャプチャできないため、視線 (LoS) の影響を完全に受けます。この論文では、遮蔽された HPE を実現するために障害物を回避できる無線周波数ビジョン (RF ビジョン) を活用することを提案し、3D 姿勢推定機能を備えた最初の RF-HPE 手法として OCHID-Fi を紹介します。 OCHID-Fi は、スマート デバイス (iPhone など) で広く利用可能な広帯域 RF センサーを使用して、3D 人間の手の姿勢を調査し、障害物の背後にある骨格を抽出します。 RF イメージングの人間には理解できない性質を考慮したラベル付けの課題を克服するために、OCHID-Fi はクロスモダリティおよびクロスドメインのトレーニング プロセスを採用しています。事前トレーニング済みの CM-HPE ネットワークと同期された CM/RF データセットを使用して、LoS 条件下での複素数値 RF-HPE ネットワークのトレーニングをガイドします。さらに、ラベル付き LoS ドメインから学習した知識を、敵対的学習を通じてラベルなしのオクルージョンされたドメインに転送し、OCHID-Fi を目に見えないオクルージョンされたシナリオに一般化できるようにします。実験結果は、OCHID-Fi の優位性を示しています。OCHID-Fi は、通常の条件下で CM-HPE に匹敵する精度を達成しながら、閉塞されたシナリオでもそのような精度を維持し、新しいドメインへの汎用性についての経験的証拠を備えています。
Hand Pose Estimation (HPE) is crucial to many applications, but conventional cameras-based CM-HPE methods are completely subject to Line-of-Sight (LoS), as cameras cannot capture occluded objects. In this paper, we propose to exploit Radio-Frequency-Vision (RF-vision) capable of bypassing obstacles for achieving occluded HPE, and we introduce OCHID-Fi as the first RF-HPE method with 3D pose estimation capability. OCHID-Fi employs wideband RF sensors widely available on smart devices (e.g., iPhones) to probe 3D human hand pose and extract their skeletons behind obstacles. To overcome the challenge in labeling RF imaging given its human incomprehensible nature, OCHID-Fi employs a cross-modality and cross-domain training process. It uses a pre-trained CM-HPE network and a synchronized CM/RF dataset, to guide the training of its complex-valued RF-HPE network under LoS conditions. It further transfers knowledge learned from labeled LoS domain to unlabeled occluded domain via adversarial learning, enabling OCHID-Fi to generalize to unseen occluded scenarios. Experimental results demonstrate the superiority of OCHID-Fi: it achieves comparable accuracy to CM-HPE under normal conditions while maintaining such accuracy even in occluded scenarios, with empirical evidence for its generalizability to new domains.