ビンやコンテナとの相互作用はロボット工学の基本的なタスクであり、ビン内のオブジェクトの状態推定が重要になります。ロボットは状態推定にカメラを使用することがよくありますが、オクルージョンと不十分な照明のため、視覚モダリティは必ずしも理想的ではありません。音を使って箱の中身の状態を推定するラジカセをご紹介します。オブジェクトとそのコンテナ間の衝突が音響振動を引き起こすという観察に基づいて、視覚シーンの再構築を学習するための畳み込みネットワークを提示します。低コストで低電力のコンタクトマイクを使用して振動を検出しますが、結果は、マルチモーダルデータから学習することで、手頃な価格のオーディオセンサーから状態を推定できることを示しています。ロボットがコンテナを使用する方法はたくさんあるため、このボックスにはロボット工学で多くの用途があると考えています。私たちのプロジェクトのウェブサイトは次のとおりです:boombox.cs.columbia.edu
Interacting with bins and containers is a fundamental task in robotics, making state estimation of the objects inside the bin critical. While robots often use cameras for state estimation, the visual modality is not always ideal due to occlusions and poor illumination. We introduce The Boombox, a container that uses sound to estimate the state of the contents inside a box. Based on the observation that the collision between objects and its containers will cause an acoustic vibration, we present a convolutional network for learning to reconstruct visual scenes. Although we use low-cost and low-power contact microphones to detect the vibrations, our results show that learning from multimodal data enables state estimation from affordable audio sensors. Due to the many ways that robots use containers, we believe the box will have a number of applications in robotics. Our project website is at: boombox.cs.columbia.edu