arXiv reaDer
FlowBot3D:アーティキュレートされたオブジェクトを操作するための3Dアーティキュレーションフローの学習
FlowBot3D: Learning 3D Articulation Flow to Manipulate Articulated Objects
ロボットが見えないクラスのオブジェクトをアーティキュレートできるように一般化する、3Dアーティキュレートされたオブジェクトを認識して操作する新しい方法を探ります。さまざまな関節式オブジェクトのパーツの潜在的な動きを予測することを学習するビジョンベースのシステムを提案し、システムの下流の動作計画をガイドしてオブジェクトを関節式にします。オブジェクトの動きを予測するために、アーティキュレーション中のポイントクラウド内のポイントのポイントごとの動きの方向を表す高密度のベクトル場を出力するようにニューラルネットワークをトレーニングします。次に、このベクトル場に基づいて分析モーションプランナーを展開し、最大のアーティキュレーションをもたらすポリシーを実現します。ビジョンシステムを完全にシミュレーションでトレーニングし、シミュレーションと実世界の両方で目に見えないオブジェクトインスタンスと新しいカテゴリに一般化するシステムの機能を示し、微調整なしでSawyerロボットにポリシーを展開します。結果は、私たちのシステムがシミュレートされた実験と実際の実験の両方で最先端のパフォーマンスを達成していることを示しています。
We explore a novel method to perceive and manipulate 3D articulated objects that generalizes to enable a robot to articulate unseen classes of objects. We propose a vision-based system that learns to predict the potential motions of the parts of a variety of articulated objects to guide downstream motion planning of the system to articulate the objects. To predict the object motions, we train a neural network to output a dense vector field representing the point-wise motion direction of the points in the point cloud under articulation. We then deploy an analytical motion planner based on this vector field to achieve a policy that yields maximum articulation. We train the vision system entirely in simulation, and we demonstrate the capability of our system to generalize to unseen object instances and novel categories in both simulation and the real world, deploying our policy on a Sawyer robot with no finetuning. Results show that our system achieves state-of-the-art performance in both simulated and real-world experiments.
updated: Thu May 02 2024 16:17:25 GMT+0000 (UTC)
published: Mon May 09 2022 15:35:33 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト