arXiv reaDer
Recognizing Object Affordances to Support Scene Reasoning for Manipulation Tasks
シーンに関するアフォーダンス情報は、指定された目標状態を満たすために実行できるアクションについての重要な手がかりを提供します。したがって、アフォーダンスに基づく推論をシンボリックアクションプランニングパイプラインに統合すると、ロボット操作の柔軟性が向上します。残念ながら、パフォーマンスの高いアフォーダンス認識方法では、事前にオブジェクトカテゴリを使用してアフォーダンス検出とセグメンテーションの精度を高めています。オブジェクトの事前分布は、一般化を未知のオブジェクトカテゴリに制限します。このペーパーでは、カテゴリにとらわれない画像のインスタンス領域を提案するための、カテゴリにとらわれない領域提案ネットワークに基づくアフォーダンス認識パイプラインについて説明します。カテゴリー事前分布がない場合のアフォーダンス学習をガイドするために、トレーニングプロセスには、提案内の既存のアフォーダンスを明示的に推論する補助タスクが含まれています。第二に、各提案を解釈するように訓練された自己注意メカニズムは、地域全体の豊富なコンテキスト依存関係をキャプチャすることを学習します。視覚的なベンチマークは、AffContextと呼ばれる訓練されたネットワークが、オブジェクトにとらわれないアフォーダンス認識とオブジェクトに基づくアフォーダンス認識との間のパフォーマンスのギャップを減らすことを示しています。 AffContextは、時間的に間隔を置いた目標指向のタスク全体のアクション計画のために、拡張状態キーパーを使用して計画ドメイン定義言語(PDDL)にリンクされています。操作実験は、AffContextがシーンコンテンツを正常に解析し、実行がターゲットタスクを完了するシンボリックプランナー問題仕様をシードできることを示しています。さらに、アクションを切り取ったり叩いたりするためのタスク指向の把握は、指定されたタスクを完了するための特定のオブジェクトに対する複数のアフォーダンスの活用を示しています。
Affordance information about a scene provides important clues as to what actions may be executed in pursuit of meeting a specified goal state. Thus, integrating affordance-based reasoning into symbolic action plannning pipelines would enhance the flexibility of robot manipulation. Unfortunately, the top performing affordance recognition methods use object category priors to boost the accuracy of affordance detection and segmentation. Object priors limit generalization to unknown object categories. This paper describes an affordance recognition pipeline based on a category-agnostic region proposal network for proposing instance regions of an image across categories. To guide affordance learning in the absence of category priors, the training process includes the auxiliary task of explicitly inferencing existing affordances within a proposal. Secondly, a self-attention mechanism trained to interpret each proposal learns to capture rich contextual dependencies through the region. Visual benchmarking shows that the trained network, called AffContext, reduces the performance gap between object-agnostic and object-informed affordance recognition. AffContext is linked to the Planning Domain Definition Language (PDDL) with an augmented state keeper for action planning across temporally spaced goal-oriented tasks. Manipulation experiments show that AffContext can successfully parse scene content to seed a symbolic planner problem specification, whose execution completes the target task. Additionally, task-oriented grasping for cutting and pounding actions demonstrate the exploitation of multiple affordances for a given object to complete specified tasks.
updated: Sat Sep 12 2020 22:39:14 GMT+0000 (UTC)
published: Thu Sep 12 2019 15:58:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト