arXiv reaDer
物理的なシーケンシャルファブリック操作のためのVisuoSpatialForesight
VisuoSpatial Foresight for Physical Sequential Fabric Manipulation
ロボットによる布地の操作は、家庭用ロボット工学、繊維、高齢者介護、外科手術に応用されています。ただし、既存のファブリック操作技術は特定のタスク用に設計されているため、異なるが関連するタスク間で一般化することは困難です。 Visual Foresightフレームワークに基づいて構築され、単一の目標条件付きポリシーでさまざまなシーケンシャルファブリック操作タスクを実行するために効率的に再利用できるファブリックダイナミクスを学習します。 VisuoSpatial Foresight(VSF)に関する以前の作業を拡張します。これは、ドメインランダム化RGB画像と深度マップの視覚的ダイナミクスをシミュレーションで同時に完全に学習します。この初期の作業では、シミュレーションの5つのベースラインメソッドに対するマルチステップファブリックスムージングおよびフォールディングタスクと、列車またはテスト時にデモンストレーションを行わずにda Vinci Research Kit(dVRK)手術ロボットでVSFを評価しました。重要な発見は、深度検知によってパフォーマンスが大幅に向上することでした。RGBDデータは、純粋なRGBデータよりもシミュレーションでファブリックの折り畳み成功率を80%向上させます。この作業では、データ生成、ビジュアルダイナミクスモデル、コスト関数、最適化手順など、VSFの4つのコンポーネントを変更します。結果は、より長いコーナーベースのアクションを使用してビジュアルダイナミクスモデルをトレーニングすると、ファブリックの折りたたみの効率が76%向上し、VSFが以前は90%の信頼性で実行できなかった物理的なシーケンシャルファブリックの折りたたみタスクが可能になることを示しています。コード、データ、ビデオ、および補足資料は、https://sites.google.com/view/fabric-vsf/で入手できます。
Robotic fabric manipulation has applications in home robotics, textiles, senior care and surgery. Existing fabric manipulation techniques, however, are designed for specific tasks, making it difficult to generalize across different but related tasks. We build upon the Visual Foresight framework to learn fabric dynamics that can be efficiently reused to accomplish different sequential fabric manipulation tasks with a single goal-conditioned policy. We extend our earlier work on VisuoSpatial Foresight (VSF), which learns visual dynamics on domain randomized RGB images and depth maps simultaneously and completely in simulation. In this earlier work, we evaluated VSF on multi-step fabric smoothing and folding tasks against 5 baseline methods in simulation and on the da Vinci Research Kit (dVRK) surgical robot without any demonstrations at train or test time. A key finding was that depth sensing significantly improves performance: RGBD data yields an 80% improvement in fabric folding success rate in simulation over pure RGB data. In this work, we vary 4 components of VSF, including data generation, visual dynamics model, cost function, and optimization procedure. Results suggest that training visual dynamics models using longer, corner-based actions can improve the efficiency of fabric folding by 76% and enable a physical sequential fabric folding task that VSF could not previously perform with 90% reliability. Code, data, videos, and supplementary material are available at https://sites.google.com/view/fabric-vsf/.
updated: Tue Jul 20 2021 21:40:13 GMT+0000 (UTC)
published: Fri Feb 19 2021 06:06:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト