arXiv reaDer
Robotic Pick-and-Place of Novel Objects in Clutter with Multi-Affordance Grasping and Cross-Domain Image Matching
 このペーパーでは、雑然とした環境で既知のオブジェクトと新しいオブジェクトの両方を把握して認識することができるロボットのピックアンドプレースシステムを紹介します。このシステムの重要な新機能は、新しいオブジェクトのタスク固有のトレーニングデータを必要とせずに、幅広いオブジェクトカテゴリを処理できることです。これを達成するために、まず、カテゴリにとらわれないアフォーダンス予測アルゴリズムを使用して、4つの異なる把持プリミティブ動作から選択して実行します。次に、観察された画像を製品画像と照合するクロスドメイン画像分類フレームワークを使用して、選択されたオブジェクトを認識します。製品イメージは幅広いオブジェクト(Webなどから)で簡単に利用できるため、システムは追加のトレーニングデータを必要とせずに、新規オブジェクトに対してすぐに使用できます。徹底的な実験結果は、マルチアフォーダンスの把握がクラッター内のさまざまなオブジェクトの高い成功率を達成し、認識アルゴリズムが既知および新規の把握されたオブジェクトの両方で高精度を達成することを示しています。このアプローチは、2017年のAmazon Roboticsチャレンジの収納タスクで1位となったMIT-Princeton Teamシステムの一部でした。すべてのコード、データセット、事前トレーニング済みモデルは、http://arc.cs.princeton.eduからオンラインで入手できます。
This paper presents a robotic pick-and-place system that is capable of grasping and recognizing both known and novel objects in cluttered environments. The key new feature of the system is that it handles a wide range of object categories without needing any task-specific training data for novel objects. To achieve this, it first uses a category-agnostic affordance prediction algorithm to select and execute among four different grasping primitive behaviors. It then recognizes picked objects with a cross-domain image classification framework that matches observed images to product images. Since product images are readily available for a wide range of objects (e.g., from the web), the system works out-of-the-box for novel objects without requiring any additional training data. Exhaustive experimental results demonstrate that our multi-affordance grasping achieves high success rates for a wide variety of objects in clutter, and our recognition algorithm achieves high accuracy for both known and novel grasped objects. The approach was part of the MIT-Princeton Team system that took 1st place in the stowing task at the 2017 Amazon Robotics Challenge. All code, datasets, and pre-trained models are available online at
updated: Sat May 30 2020 19:54:31 GMT+0000 (UTC)
published: Tue Oct 03 2017 18:16:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト