オープンコンテナ、つまりカバーのないコンテナは、人間の生活の中で重要かつユビキタスなオブジェクトのクラスです。この手紙では、物理シミュレーションを介して、これまで見えなかったオブジェクトのオープンコンテアビリティアフォーダンスをロボットが「想像」するための新しい方法を提案します。 UR5マニピュレーターにイマジネーションメソッドを実装します。ロボットは、RGB-Dカメラで物体を自律的にスキャンします。スキャンされた3Dモデルは、オブジェクトへの粒子の落下を物理的にシミュレートし、そこに保持されている粒子の数を数えることにより、オープンコンテイナビリティアフォーダンスを定量化するオープンコンテイナビリティの想像力に使用されます。この定量化は、オープンコンテナーと非オープンコンテナーのバイナリ分類(以下、オープンコンテナー分類と呼びます)に使用されます。オブジェクトがオープンコンテナーとして分類されている場合、ロボットはさらに、物理シミュレーションを使用してオブジェクトに注ぐことを想像して、実際のロボットの自律注ぎの注ぎ位置と向きを取得します。オープンコンテナーの分類と、57のオブジェクトカテゴリを持つ130個の以前に表示されていないオブジェクトを含むデータセットに粒状材料を自律的に注ぐ方法を評価します。私たちが提案する方法では、シミュレーションキャリブレーション(トレーニング)に11個のオブジェクトのみを使用しますが、そのオープンコンテナー分類は人間の判断とうまく一致しています。さらに、この方法では、ロボットにデータセット内の55個のコンテナーに自律的に注ぐことができるため、非常に高い成功率が得られます。また、ディープラーニング手法と比較します。結果は、この方法がオープンコンテナー分類で深層学習法と同じパフォーマンスを達成し、自律注入でそれを上回ることを示しています。さらに、私たちの方法は完全に説明可能です。
Open containers, i.e., containers without covers, are an important and ubiquitous class of objects in human life. In this letter, we propose a novel method for robots to "imagine" the open containability affordance of a previously unseen object via physical simulations. We implement our imagination method on a UR5 manipulator. The robot autonomously scans the object with an RGB-D camera. The scanned 3D model is used for open containability imagination which quantifies the open containability affordance by physically simulating dropping particles onto the object and counting how many particles are retained in it. This quantification is used for open-container vs. non-open-container binary classification (hereafter referred to as open container classification). If the object is classified as an open container, the robot further imagines pouring into the object, again using physical simulations, to obtain the pouring position and orientation for real robot autonomous pouring. We evaluate our method on open container classification and autonomous pouring of granular material on a dataset containing 130 previously unseen objects with 57 object categories. Although our proposed method uses only 11 objects for simulation calibration (training), its open container classification aligns well with human judgements. In addition, our method endows the robot with the capability to autonomously pour into the 55 containers in the dataset with a very high success rate. We also compare to a deep learning method. Results show that our method achieves the same performance as the deep learning method on open container classification and outperforms it on autonomous pouring. Moreover, our method is fully explainable.