arXiv reaDer
SurgeonAssist-Net: Towards Context-Aware Head-Mounted Display-Based Augmented Reality for Surgical Guidance
SurgeonAssist-Net:市販の光学シースルーヘッドマウントディスプレイ(OST-HMD)にアクセス可能な、事前定義された一連の手術タスクのための、アクションおよびワークフロー主導の仮想支援を行う軽量フレームワークを紹介します。腹腔鏡手術ワークフローで広く使用されているベンチマークデータセットで、私たちの実装は、自動タスク認識の予測精度において最先端のアプローチと競合しますが、必要なパラメーターは7.4倍、1秒あたりの浮動小数点演算(FLOPS)は10.2倍少なくなります。は、CPUでの推論が7.0倍高速であり、Microsoft HoloLens 2OST-HMDでほぼリアルタイムのパフォーマンスが可能です。これを実現するために、効率的な畳み込みニューラルネットワーク(CNN)バックボーンを使用して画像データから識別機能を抽出し、低パラメーターのリカレントニューラルネットワーク(RNN)アーキテクチャを使用して長期的な時間依存性を学習します。 HoloLens 2での推論のアプローチの実現可能性を示すために、ユーザー中心の視点から記録されたいくつかの外科的タスクのビデオを含むサンプルデータセットを作成しました。トレーニング後、モデルを展開し、現在の手術タスクを予測するために、オンラインでシミュレートされた手術シナリオでそのパフォーマンスをカタログ化しました。私たちのアプローチの有用性は、いくつかの関連する臨床ユースケースの議論で探求されています。私たちのコードはで公開されています。
We present SurgeonAssist-Net: a lightweight framework making action-and-workflow-driven virtual assistance, for a set of predefined surgical tasks, accessible to commercially available optical see-through head-mounted displays (OST-HMDs). On a widely used benchmark dataset for laparoscopic surgical workflow, our implementation competes with state-of-the-art approaches in prediction accuracy for automated task recognition, and yet requires 7.4x fewer parameters, 10.2x fewer floating point operations per second (FLOPS), is 7.0x faster for inference on a CPU, and is capable of near real-time performance on the Microsoft HoloLens 2 OST-HMD. To achieve this, we make use of an efficient convolutional neural network (CNN) backbone to extract discriminative features from image data, and a low-parameter recurrent neural network (RNN) architecture to learn long-term temporal dependencies. To demonstrate the feasibility of our approach for inference on the HoloLens 2 we created a sample dataset that included video of several surgical tasks recorded from a user-centric point-of-view. After training, we deployed our model and cataloged its performance in an online simulated surgical scenario for the prediction of the current surgical task. The utility of our approach is explored in the discussion of several relevant clinical use-cases. Our code is publicly available at
updated: Tue Jul 13 2021 21:12:34 GMT+0000 (UTC)
published: Tue Jul 13 2021 21:12:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト