連続ロボットは、その独自の形状、コンプライアンス、および小型化機能により、さまざまなアプリケーションでの対話型タスクの有望な候補です。このようなタスクには、正確でリアルタイムの形状センシングが不可欠ですが、依然として課題が残っています。埋め込み形状センシングは、ハードウェアの複雑さとコストが高く、視覚ベースの方法ではステレオ設定が必要であり、リアルタイム パフォーマンスを実現するのに苦労します。この論文は、連続体ロボット形状センシングへの最初の目から手への単眼アプローチを提案します。ディープ エンコーダー デコーダー ネットワークを利用して、私たちの方法である MoSSNet は、ステレオ マッチングの計算コストを排除し、センシング ハードウェアの要件を軽減します。特に、MoSSNet はエンコーダーと 3 つの並列デコーダーで構成され、単一の RGB 画像から空間、長さ、および輪郭情報を明らかにし、カーブ フィッティングによって 3D 形状を取得します。 2 セグメントの腱駆動の連続体ロボットは、データ収集とテストに使用され、実世界のデータに対する正確な (平均形状誤差 0.91 mm、またはロボットの長さの 0.36%) およびリアルタイム (70 fps) 形状センシングを示します。さらに、この方法はエンドツーエンドで最適化されており、基準マーカー、手動セグメンテーション、またはカメラ キャリブレーションは必要ありません。コードとデータセットは、https://github.com/ContinuumRoboticsLab/MoSSNet で利用できるようになります。
Continuum robots are promising candidates for interactive tasks in various applications due to their unique shape, compliance, and miniaturization capability. Accurate and real-time shape sensing is essential for such tasks yet remains a challenge. Embedded shape sensing has high hardware complexity and cost, while vision-based methods require stereo setup and struggle to achieve real-time performance. This paper proposes the first eye-to-hand monocular approach to continuum robot shape sensing. Utilizing a deep encoder-decoder network, our method, MoSSNet, eliminates the computation cost of stereo matching and reduces requirements on sensing hardware. In particular, MoSSNet comprises an encoder and three parallel decoders to uncover spatial, length, and contour information from a single RGB image, and then obtains the 3D shape through curve fitting. A two-segment tendon-driven continuum robot is used for data collection and testing, demonstrating accurate (mean shape error of 0.91 mm, or 0.36% of robot length) and real-time (70 fps) shape sensing on real-world data. Additionally, the method is optimized end-to-end and does not require fiducial markers, manual segmentation, or camera calibration. Code and datasets will be made available at https://github.com/ContinuumRoboticsLab/MoSSNet.