不均一なオブジェクトをつかむことは、実際のアプリケーションで実際に使用されますが、質量分布や摩擦係数などの未知の物理的特性のために、依然として困難な作業です。この研究では、不可知論的な方法で物理的特性を学習するための視覚ベースのメタ学習アルゴリズムを提案します。特に、DexNet-2.0の上に条件付きニューラルプロセス(CNP)を採用しています。 CNPは、いくつかの観測から物理的な埋め込みを迅速に学習します。各観測は、i)トリミングされた深度画像、ii)グリッパーと推定された把持点の間の把持高さ、およびiii)バイナリ把持結果で構成されます。変更された条件付きDexNet-2.0(DexNet-CNP)は、オンラインで実行できる新しい観測から、予測された把握品質を繰り返し更新します。さまざまな物理パラメータを持つさまざまな形状プリミティブオブジェクトを使用して、Pybulletシミュレータでメソッドを評価します。結果は、私たちのモデルが元のDexNet-2.0よりも優れており、さまざまな形状の見えないオブジェクトを一般化できることを示しています。
Grasping inhomogeneous objects, practical use in real-world applications, remains a challenging task due to the unknown physical properties such as mass distribution and coefficient of friction. In this study, we propose a vision-based meta-learning algorithm to learn physical properties in an agnostic way. In particular, we employ Conditional Neural Processes (CNPs) on top of DexNet-2.0. CNPs learn physical embeddings rapidly from a few observations where each observation is composed of i) the cropped depth image, ii) the grasping height between the gripper and estimated grasping point, and iii) the binary grasping result. Our modified conditional DexNet-2.0 (DexNet-CNP) updates the predicted grasping quality iteratively from new observations, which can be executed in an online fashion. We evaluate our method in the Pybullet simulator using various shape primitive objects with different physical parameters. The results show that our model outperforms the original DexNet-2.0 and is able to generalize on unseen objects with different shapes.