arXiv reaDer
毛布の下でのマルチモーダルベッド内ポーズと形状の推定
Multimodal In-bed Pose and Shape Estimation under the Blankets
人間はベッドで膨大な時間を過ごします-平均して生涯の約3分の1。その上、安静時の人間は多くのヘルスケアアプリケーションで不可欠です。通常、人間は休息時に毛布で覆われます。そのため、上記の毛布を塞がずに安静時の身体を見ることができるように、被験者を明らかにするためのマルチモーダルアプローチを提案します。マルチモーダルセンサーによって取得された知識を最大限に活用する方法で、さまざまなモダリティを効果的に融合するネズミ講を提案します。具体的には、2つの最も有益なモダリティ(つまり、深度画像と赤外線画像)を最初に融合して、適切な初期ポーズと形状の推定を生成します。次に、圧力マップとRGB画像を1つずつさらに融合して、カバーされた部分のオクルージョン不変情報とカバーされていない部分の正確な形状情報をそれぞれ提供することにより、結果を改善します。ただし、マルチモーダルデータを使用した場合でも、身体が極端に閉塞しているため、安静時の人体を検出するタスクは依然として非常に困難です。毛布からの閉塞の悪影響をさらに減らすために、注意ベースの再構成モジュールを使用して、カバーされていないモダリティを生成します。これは、周期的な方法で現在の推定を更新するためにさらに融合されます。広範な実験により、提案されたモデルが他のモデルよりも優れていることが検証されます。
Humans spend vast hours in bed -- about one-third of the lifetime on average. Besides, a human at rest is vital in many healthcare applications. Typically, humans are covered by a blanket when resting, for which we propose a multimodal approach to uncover the subjects so their bodies at rest can be viewed without the occlusion of the blankets above. We propose a pyramid scheme to effectively fuse the different modalities in a way that best leverages the knowledge captured by the multimodal sensors. Specifically, the two most informative modalities (i.e., depth and infrared images) are first fused to generate good initial pose and shape estimation. Then pressure map and RGB images are further fused one by one to refine the result by providing occlusion-invariant information for the covered part, and accurate shape information for the uncovered part, respectively. However, even with multimodal data, the task of detecting human bodies at rest is still very challenging due to the extreme occlusion of bodies. To further reduce the negative effects of the occlusion from blankets, we employ an attention-based reconstruction module to generate uncovered modalities, which are further fused to update current estimation via a cyclic fashion. Extensive experiments validate the superiority of the proposed model over others.
updated: Sat Dec 12 2020 05:35:23 GMT+0000 (UTC)
published: Sat Dec 12 2020 05:35:23 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト