arXiv reaDer
PressureVision:単一のRGB画像から手の圧力を推定する
PressureVision: Estimating Hand Pressure from a Single RGB Image
人々はしばしば手で圧力をかけることによって周囲と相互作用します。手と環境の間に圧力センサーを配置することで手の圧力を測定できますが、そうすると、接触力学が変化し、人間の触覚が妨げられ、高価なセンサーが必要になり、大規模な環境へのスケーリングが不十分になる可能性があります。従来のRGBカメラを使用して手の圧力を推測し、計装されていない手や表面からの手の圧力を機械で認識できるようにする可能性を探ります。中心的な洞察は、手による圧力の適用が有益な外観の変化をもたらすということです。手は生体力学的特性を共有しており、その結果、軟組織の変形、血液の分布、手のポーズ、影の影など、同様の観察可能な現象が発生します。計装された平面に圧力をかける多様な肌の色合いを持つ36人の参加者のビデオを収集しました。次に、単一のRGB画像から圧力画像を推測するためにディープモデル(PressureVisionNet)をトレーニングしました。私たちのモデルは、トレーニングデータ以外の参加者へのプレッシャーを推測し、ベースラインを上回っています。また、モデルの出力が手の外観に依存し、接触領域の近くに影を落とすことも示しています。全体として、私たちの結果は、これまで観察されていなかった人間の手の外観を使用して、加えられた圧力を正確に推測できることを示唆しています。データ、コード、およびモデルはオンラインで入手できます。
People often interact with their surroundings by applying pressure with their hands. While hand pressure can be measured by placing pressure sensors between the hand and the environment, doing so can alter contact mechanics, interfere with human tactile perception, require costly sensors, and scale poorly to large environments. We explore the possibility of using a conventional RGB camera to infer hand pressure, enabling machine perception of hand pressure from uninstrumented hands and surfaces. The central insight is that the application of pressure by a hand results in informative appearance changes. Hands share biomechanical properties that result in similar observable phenomena, such as soft-tissue deformation, blood distribution, hand pose, and cast shadows. We collected videos of 36 participants with diverse skin tone applying pressure to an instrumented planar surface. We then trained a deep model (PressureVisionNet) to infer a pressure image from a single RGB image. Our model infers pressure for participants outside of the training data and outperforms baselines. We also show that the output of our model depends on the appearance of the hand and cast shadows near contact regions. Overall, our results suggest the appearance of a previously unobserved human hand can be used to accurately infer applied pressure. Data, code, and models are available online.
updated: Mon Jul 25 2022 04:08:50 GMT+0000 (UTC)
published: Sat Mar 19 2022 19:54:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト