arXiv reaDer
DualAfford:デュアルグリッパーオブジェクトマニピュレーションのための協調的な視覚的アフォーダンスの学習
DualAfford: Learning Collaborative Visual Affordance for Dual-gripper Object Manipulation
将来のホームアシスタントロボットが日常の人間環境で多様な3Dオブジェクトを理解し、操作することは不可欠ですが、挑戦的です。さまざまな3D形状で多様な操作タスクを実行できるスケーラブルなシステムの構築に向けて、最近の研究では、入力3Dジオメトリ上のすべてのポイントに、ダウンストリームタスクを実行する可能性のあるアクション(プッシュなど)をラベル付けする、視覚的に実用的なアフォーダンスを学習する有望な結果を提唱し、実証しています。またはピックアップ)。ただし、これらの作業はシングルグリッパー操作タスクのみを研究しましたが、実際のタスクの多くは、共同で達成するために両手を必要とします。この作業では、デュアルグリッパー操作タスクの協調的アフォーダンスを学習するための新しい学習フレームワークであるDualAffordを提案します。このアプローチの中心的な設計は、2つのグリッパーの二次問題を、効率的な学習のために、絡み合っていないが相互接続された2つのサブタスクに減らすことです。大規模なPartNet-MobilityおよびShapeNetデータセットを使用して、デュアルグリッパー操作用の4つのベンチマークタスクを設定しました。実験は、3つのベースラインに対する私たちの方法の有効性と優位性を証明しています。追加の結果とビデオはhttps://hyperplane-lab.github.io/DualAffordで見つけることができます。
It is essential yet challenging for future home-assistant robots to understand and manipulate diverse 3D objects in daily human environments. Towards building scalable systems that can perform diverse manipulation tasks over various 3D shapes, recent works have advocated and demonstrated promising results learning visual actionable affordance, which labels every point over the input 3D geometry with an action likelihood of accomplishing the downstream task (e.g., pushing or picking-up). However, these works only studied single-gripper manipulation tasks, yet many real-world tasks require two hands to achieve collaboratively. In this work, we propose a novel learning framework, DualAfford, to learn collaborative affordance for dual-gripper manipulation tasks. The core design of the approach is to reduce the quadratic problem for two grippers into two disentangled yet interconnected subtasks for efficient learning. Using the large-scale PartNet-Mobility and ShapeNet datasets, we set up four benchmark tasks for dual-gripper manipulation. Experiments prove the effectiveness and superiority of our method over three baselines. Additional results and videos can be found at https://hyperplane-lab.github.io/DualAfford .
updated: Tue Jul 05 2022 11:30:37 GMT+0000 (UTC)
published: Tue Jul 05 2022 11:30:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト