医療アプリケーションは、コンピュータビジョンの急速な進歩から恩恵を受けています。特に患者のモニタリングでは、ベッド内での人間の姿勢の推定は、病状の評価において潜在的な価値を持つ重要な健康関連の指標を提供します。このドメインは大きく進歩していますが、オクルージョン中のかなりのあいまいさ、およびモデルトレーニング用に手動でラベル付けされたデータの大規模なコーパスがないため、特にプライバシーを保護する熱赤外線イメージングなどのドメインでは、依然として困難な作業です。大きな関心。データから直接特徴を学習する際の自己監視法の有効性に動機付けられて、トレーニング中に見られる欠落したモダリティから特徴を再構築できるマルチモーダル条件付き変分オートエンコーダ(MC-VAE)を提案します。このアプローチはHRNetで使用され、ベッド内のポーズ推定のための単一モダリティ推論を可能にします。広範な評価を通じて、利用可能なモダリティから体の位置を効果的に認識できることを示し、推論時に複数のモードにアクセスできることに大きく依存するベースラインモデルと同等の結果を達成します。提案されたフレームワークは、単一のソースからロバストモデルを生成する自己監視学習に向けた将来の研究をサポートし、臨床環境における多くの未知の分布にわたって一般化することを期待しています。
Medical applications have benefited from the rapid advancement in computer vision. For patient monitoring in particular, in-bed human posture estimation provides important health-related metrics with potential value in medical condition assessments. Despite great progress in this domain, it remains a challenging task due to substantial ambiguity during occlusions, and the lack of large corpora of manually labeled data for model training, particularly with domains such as thermal infrared imaging which are privacy-preserving, and thus of great interest. Motivated by the effectiveness of self-supervised methods in learning features directly from data, we propose a multi-modal conditional variational autoencoder (MC-VAE) capable of reconstructing features from missing modalities seen during training. This approach is used with HRNet to enable single modality inference for in-bed pose estimation. Through extensive evaluations, we demonstrate that body positions can be effectively recognized from the available modality, achieving on par results with baseline models that are highly dependent on having access to multiple modes at inference time. The proposed framework supports future research towards self-supervised learning that generates a robust model from a single source, and expects it to generalize over many unknown distributions in clinical environments.