食品包装業界は、1種類の食品の中でも、さまざまな形やサイズの多種多様な食品を扱っています。メニューも多様で頻繁に変更されるため、ピックアンドプレースの自動化は困難です。ビンピッキングの一般的なアプローチは、インスタンスのセグメンテーション方法を使用して、最初にトレイ内の各食品を識別することです。ただし、これらの方法をトレーニングするための人間の注釈は、食品が不明確な境界と視覚的な類似性とともに密集しているため、信頼性が低く、エラーが発生しやすく、断片の分離が困難です。この問題に対処するために、トレーニングインスタンスセグメンテーションモデル用の実際の食品の高品質3Dモデルを使用して、充填された食品トレイのデータセットを作成することにより、sim2realメソッドを使用して純粋に合成データをトレーニングし、実世界に正常に転送する方法を提案します。もう一つの懸念は、食品が握っている間に簡単に損傷することです。これに対処するために、衝突が発生したときに受動的に引っ込める新しい適応指メカニズムと、把持中に隣接する食品に損傷を与える可能性のある把持をフィルタリングする方法の2つの追加方法を導入します。提案した方法が数種類の本物の食品に有効であることを示します。
The food packaging industry handles an immense variety of food products with wide-ranging shapes and sizes, even within one kind of food. Menus are also diverse and change frequently, making automation of pick-and-place difficult. A popular approach to bin-picking is to first identify each piece of food in the tray by using an instance segmentation method. However, human annotations to train these methods are unreliable and error-prone since foods are packed close together with unclear boundaries and visual similarity making separation of pieces difficult. To address this problem, we propose a method that trains purely on synthetic data and successfully transfers to the real world using sim2real methods by creating datasets of filled food trays using high-quality 3d models of real pieces of food for the training instance segmentation models. Another concern is that foods are easily damaged during grasping. We address this by introducing two additional methods -- a novel adaptive finger mechanism to passively retract when a collision occurs, and a method to filter grasps that are likely to cause damage to neighbouring pieces of food during a grasp. We demonstrate the effectiveness of the proposed method on several kinds of real foods.