arXiv reaDer
3Dシーンストリーミングと手の相互作用を備えたARを介したロボット手術リモートメンタリング
Robotic Surgery Remote Mentoring via AR with 3D Scene Streaming and Hand Interaction
ロボット手術の人気が高まるにつれ、教育はますます重要になり、患者の安全のために緊急に必要とされています。しかし、経験豊富な外科医は、忙しい臨床スケジュールや遠方の都市で働くためにアクセスが制限されているため、初心者に十分な教育リソースを提供することはほとんどできません。効果的な方法としてのリモートメンタリングは、この問題の解決に役立ちますが、従来の方法は、直感的でも鮮明でもないプレーンテキスト、オーディオ、または2Dビデオに限定されています。さまざまな教育シナリオで広く使用されている拡張現実(AR)は、視覚体験とインタラクティブな教育の新しい可能性を提供することを約束しています。この論文では、効率的な3Dシーンの視覚化と自然な3D手の相互作用を備えた、新しいARベースのロボット手術リモートメンタリングシステムを提案します。ヘッドマウントディスプレイ(HoloLensなど)を使用して、メンターは研修生の操作側からストリーミングされた手順をリモートで監視できます。メンターは、手のジェスチャーで直接フィードバックを提供することもできます。これは、訓練生に送信され、ガイダンスとして手術コンソールで表示されます。私たちは、実際の手術ステレオビデオと一般的なロボットトレーニングタスク(すなわち、ペグ転送と縫合)のex-vivoシナリオの両方でシステムを包括的に検証します。ストリーミングシーンの視覚化の忠実度、手の相互作用によるフィードバックの精度、およびリモートメンタリングシステム全体の各コンポーネントの低遅延に関して、有望な結果が示されています。この作品は、ロボット手術教育に対する信頼性が高く、柔軟性があり、低コストのソリューションのためにARテクノロジーを活用する可能性を示しており、臨床応用の大きな可能性を秘めています。
With the growing popularity of robotic surgery, education becomes increasingly important and urgently needed for the sake of patient safety. However, experienced surgeons have limited accessibility due to their busy clinical schedule or working in a distant city, thus can hardly provide sufficient education resources for novices. Remote mentoring, as an effective way, can help solve this problem, but traditional methods are limited to plain text, audio, or 2D video, which are not intuitive nor vivid. Augmented reality (AR), a thriving technique being widely used for various education scenarios, is promising to offer new possibilities of visual experience and interactive teaching. In this paper, we propose a novel AR-based robotic surgery remote mentoring system with efficient 3D scene visualization and natural 3D hand interaction. Using a head-mounted display (i.e., HoloLens), the mentor can remotely monitor the procedure streamed from the trainee's operation side. The mentor can also provide feedback directly with hand gestures, which is in-turn transmitted to the trainee and viewed in surgical console as guidance. We comprehensively validate the system on both real surgery stereo videos and ex-vivo scenarios of common robotic training tasks (i.e., peg-transfer and suturing). Promising results are demonstrated regarding the fidelity of streamed scene visualization, the accuracy of feedback with hand interaction, and the low-latency of each component in the entire remote mentoring system. This work showcases the feasibility of leveraging AR technology for reliable, flexible and low-cost solutions to robotic surgical education, and holds great potential for clinical applications.
updated: Thu Feb 29 2024 08:42:47 GMT+0000 (UTC)
published: Sat Apr 09 2022 03:17:15 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト