ロボット支援の低侵襲手術は、患者の転帰を改善するだけでなく、いくつかの臨床アプリケーションの合併症と回復時間を削減することが示されています。ロボットアームの構成がますます増えているため、到達範囲が最大化され、雑然とした環境での衝突を回避できますが、安全規制により自動運転が妨げられているため、手術中に適切に配置するのは複雑です最適な手術用アームのセットアップをガイドするように設計されたヘッドマウントディスプレイ(HMD)ベースの拡張現実(AR)システムを提案します。 HMDを装備したスタッフは、ロボットとその計画された仮想カウンターパートを調整します。このユーザー中心の設定での主な課題は、このような協調ロボットソリューションを妨げる視点のあいまいさです。この課題を克服するために、複数の視点からの増強を同時に表示する反射型ARディスプレイを介してマルチビューAR体験を提供することにより、物理的な対応物へのARコンテンツの直感的なアライメントのための新規登録コンセプトを導入します。このシステムを使用すると、ユーザーはさまざまな視点を視覚化しながら、ポーズを積極的に調整して、仮想を実際に最も重ね合わせる登録変換を決定できます。実験結果は、反射型ARディスプレイを使用した場合の仮想ロボットと実際のロボットのインタラクティブなアライメントの改善を示しています。また、ARガイダンス方法論を使用して、シミュレートされたトロカール配置手術でロボットマニピュレーターを構成することからの測定値を提示します。
Robot-assisted minimally invasive surgery has shown to improve patient outcomes, as well as reduce complications and recovery time for several clinical applications. While increasingly configurable robotic arms can maximize reach and avoid collisions in cluttered environments, positioning them appropriately during surgery is complicated because safety regulations prevent automatic driving. We propose a head-mounted display (HMD) based augmented reality (AR) system designed to guide optimal surgical arm set up. The staff equipped with HMD aligns the robot with its planned virtual counterpart. In this user-centric setting, the main challenge is the perspective ambiguities hindering such collaborative robotic solution. To overcome this challenge, we introduce a novel registration concept for intuitive alignment of AR content to its physical counterpart by providing a multi-view AR experience via reflective-AR displays that simultaneously show the augmentations from multiple viewpoints. Using this system, users can visualize different perspectives while actively adjusting the pose to determine the registration transformation that most closely superimposes the virtual onto the real. The experimental results demonstrate improvement in the interactive alignment of a virtual and real robot when using a reflective-AR display. We also present measurements from configuring a robotic manipulator in a simulated trocar placement surgery using the AR guidance methodology.