arXiv reaDer
ロボット念力:Youtubeで人間を見てロボットハンドイミテーターを学ぶ
Robotic Telekinesis: Learning a Robotic Hand Imitator by Watching Humans on Youtube
人間が自分の手で動きを実演するだけで、ロボットの手や腕を操作できるシステムを構築しています。ロボットは、単一のRGBカメラを介して人間のオペレーターを観察し、リアルタイムで彼らの行動を模倣します。人間の手とロボットの手は、形状、サイズ、関節構造が異なり、キャリブレーションされていない単一のカメラからこの変換を実行することは、非常に制約の少ない問題です。さらに、リターゲットされた軌道は、物理ロボットでタスクを効果的に実行する必要があります。これには、時間的にスムーズで、自己衝突がないことが必要です。私たちの重要な洞察は、人間とロボットのペアの通信データを収集するには費用がかかる一方で、インターネットには豊富で多様な人間の手のビデオの膨大なコーパスが含まれているということです。このデータを活用して、人間の手を理解し、人間のビデオストリームを、スムーズ、迅速、安全で、ガイドのデモンストレーションと意味的に類似したロボットの手腕の軌道にリターゲットするシステムをトレーニングします。これまで訓練を受けていなかった人々が、さまざまな器用な操作タスクでロボットを遠隔操作できることを示します。私たちの低コスト、グローブフリー、マーカーフリーのリモートテレオペレーションシステムは、ロボットの教育をより利用しやすくし、ロボットが現実の世界で自律的に行動することを学ぶのに役立つことを願っています。 https://robotic-telekinesis.github.io/のビデオ
We build a system that enables any human to control a robot hand and arm, simply by demonstrating motions with their own hand. The robot observes the human operator via a single RGB camera and imitates their actions in real-time. Human hands and robot hands differ in shape, size, and joint structure, and performing this translation from a single uncalibrated camera is a highly underconstrained problem. Moreover, the retargeted trajectories must effectively execute tasks on a physical robot, which requires them to be temporally smooth and free of self-collisions. Our key insight is that while paired human-robot correspondence data is expensive to collect, the internet contains a massive corpus of rich and diverse human hand videos. We leverage this data to train a system that understands human hands and retargets a human video stream into a robot hand-arm trajectory that is smooth, swift, safe, and semantically similar to the guiding demonstration. We demonstrate that it enables previously untrained people to teleoperate a robot on various dexterous manipulation tasks. Our low-cost, glove-free, marker-free remote teleoperation system makes robot teaching more accessible and we hope that it can aid robots in learning to act autonomously in the real world. Videos at https://robotic-telekinesis.github.io/
updated: Sun Jul 24 2022 06:08:35 GMT+0000 (UTC)
published: Mon Feb 21 2022 18:59:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト