arXiv reaDer
ベッド内での人間の 3D 姿勢推定のための解剖学に基づくドメイン適応
Anatomy-guided domain adaptation for 3D in-bed human pose estimation
人間の 3D 姿勢推定は、臨床モニタリング システムの重要な要素です。ただし、深層姿勢推定モデルの臨床的適用性は、十分なラベル付きトレーニング データの必要性に加えて、ドメイン シフト下での不十分な一般化によって制限されます。解決策として、モデルをラベル付きソースからシフトされたラベルなしターゲットドメインに適応させる、新しいドメイン適応方法を提示します。私たちの方法は、人間の解剖学に関する事前知識に基づく 2 つの補完的な適応戦略で構成されています。まず、予測を解剖学的にもっともらしいポーズの空間に制限することにより、ターゲット ドメインでの学習プロセスを導きます。この目的のために、非対称な四肢の長さ、信じがたい骨の長さ、信じられないほどの関節角度にペナルティを課す解剖学的損失関数に事前知識を組み込みます。第二に、解剖学的妥当性に従って自己訓練用の疑似ラベルをフィルタリングし、その概念を平均教師パラダイムに組み込むことを提案します。教師なしおよびソースフリーのドメイン適応に適用可能な点群ベースのフレームワークで両方の戦略を統合します。パブリック SLP データセットと新しく作成されたデータセットを使用して、2 つの適応シナリオの下でベッド内姿勢推定の評価が実行されます。私たちの方法は、さまざまな最先端のドメイン適応方法よりも一貫して優れており、ベースライン モデルを 31%/66% 上回っており、ドメイン ギャップを 65%/82% 削減しています。ソース コードは、https://github.com/multimodallearning/da-3dhpe-anatomy で入手できます。
3D human pose estimation is a key component of clinical monitoring systems. The clinical applicability of deep pose estimation models, however, is limited by their poor generalization under domain shifts along with their need for sufficient labeled training data. As a remedy, we present a novel domain adaptation method, adapting a model from a labeled source to a shifted unlabeled target domain. Our method comprises two complementary adaptation strategies based on prior knowledge about human anatomy. First, we guide the learning process in the target domain by constraining predictions to the space of anatomically plausible poses. To this end, we embed the prior knowledge into an anatomical loss function that penalizes asymmetric limb lengths, implausible bone lengths, and implausible joint angles. Second, we propose to filter pseudo labels for self-training according to their anatomical plausibility and incorporate the concept into the Mean Teacher paradigm. We unify both strategies in a point cloud-based framework applicable to unsupervised and source-free domain adaptation. Evaluation is performed for in-bed pose estimation under two adaptation scenarios, using the public SLP dataset and a newly created dataset. Our method consistently outperforms various state-of-the-art domain adaptation methods, surpasses the baseline model by 31%/66%, and reduces the domain gap by 65%/82%. Source code is available at https://github.com/multimodallearning/da-3dhpe-anatomy.
updated: Tue Jul 04 2023 14:26:19 GMT+0000 (UTC)
published: Tue Nov 22 2022 11:34:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト