arXiv reaDer
RGB-Dカメラと3Dプリントマーカーを使用した新しい拡張現実超音波フレームワーク
A Novel Augmented Reality Ultrasound Framework Using an RGB-D Camera and a 3D-printed Marker
目的。 3D操作スペースで超音波画像を見つけて追跡する機能は、複数の臨床アプリケーションにとって非常に有益です。これは多くの場合、正確であるが高価な光学的または電磁的追跡システムを使用してプローブを追跡することによって達成されます。私たちの目標は、標準のRGB-Dカメラを使用して、シンプルで低コストの拡張現実エコーグラフィーフレームワークを開発することです。メソッド。 Occipital Structure Core RGB-Dカメラ、特別に設計された3Dマーカー、および高速点群登録アルゴリズムFaVoRで構成されるプロトタイプシステムが開発され、Ultrasonix超音波システムで評価されました。プローブは、ソフトウェアPLUSツールキットを使用して3DプリントされたNワイヤーファントムで較正されました。提案されたキャリブレーション方法は単純化されており、ファントムに追加のマーカーやセンサーを取り付ける必要はありません。また、拡張現実アプリケーション用にOpenGLベースの視覚化ソフトウェアが開発されました。結果。キャリブレーションされたプローブは、シミュレートされた針挿入シナリオで実際のビデオを補強するために使用されました。超音波画像がビデオにレンダリングされ、視覚的に一貫した結果が観察されました。 5 cmサイズの立方体のローカライズに関して、ARUSフレームワークのエンドツーエンドの精度を評価しました。 2つの実験から、ターゲットポーズのローカリゼーションエラーは5.6〜5.9 mmおよび-3.9〜4.2度の範囲です。結論。将来的には、モバイルデバイスとARメガネに統合されたRGB-Dカメラの民主化の可能性により、私たちのプロトタイプソリューションは、臨床ルーチンでの3Dフリーハンド超音波の使用を容易にする可能性があると考えています。今後の作業には、シミュレートされた医療シナリオと実際の医療シナリオの両方で、キャリブレーションの精度を市販の追跡ソリューションによって得られた精度と比較することにより、より厳密で徹底的な評価を含める必要があります。
Purpose. Ability to locate and track ultrasound images in the 3D operating space is of great benefit for multiple clinical applications. This is often accomplished by tracking the probe using a precise but expensive optical or electromagnetic tracking system. Our goal is to develop a simple and low cost augmented reality echography framework using a standard RGB-D Camera. Methods. A prototype system consisting of an Occipital Structure Core RGB-D camera, a specifically-designed 3D marker, and a fast point cloud registration algorithm FaVoR was developed and evaluated on an Ultrasonix ultrasound system. The probe was calibrated on a 3D-printed N-wire phantom using the software PLUS toolkit. The proposed calibration method is simplified, requiring no additional markers or sensors attached to the phantom. Also, a visualization software based on OpenGL was developed for the augmented reality application. Results. The calibrated probe was used to augment a real-world video in a simulated needle insertion scenario. The ultrasound images were rendered on the video, and visually-coherent results were observed. We evaluated the end-to-end accuracy of our AR US framework on localizing a cube of 5 cm size. From our two experiments, the target pose localization error ranges from 5.6 to 5.9 mm and from -3.9 to 4.2 degrees. Conclusion. We believe that with the potential democratization of RGB-D cameras integrated in mobile devices and AR glasses in the future, our prototype solution may facilitate the use of 3D freehand ultrasound in clinical routine. Future work should include a more rigorous and thorough evaluation, by comparing the calibration accuracy with those obtained by commercial tracking solutions in both simulated and real medical scenarios.
updated: Mon May 09 2022 14:54:47 GMT+0000 (UTC)
published: Mon May 09 2022 14:54:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト