目的: この研究は、外科医の自動トレーニングと手術映像の分析のための最先端のコンピューター ビジョン アルゴリズムの使用を促進することを目的としています。 2D の手のポーズを推定することにより、開業医の手の動きと手術器具との相互作用をモデル化し、手術トレーニングの潜在的な利点を研究します。方法: 公開されている手のデータセットで事前トレーニング済みのモデルを活用して、2D の手のポーズを含む 100 の切開手術シミュレーション ビデオの独自の社内データセットを作成します。また、手術ビデオをジェスチャとツール使用セグメントにセグメント化し、それらをキネマティック センサーと I3D 機能と比較するポーズ推定の能力を評価します。さらに、ドメイン エキスパートのトレーニング アドバイスに基づく 6 つの新しい手術スキル プロキシを紹介します。これらはすべて、フレームワークが特定の生のビデオ映像を自動的に検出できます。結果: Open Surgery Simulation データセットで 88.49% という最先端のジェスチャ セグメンテーション精度が、複数の角度からの 2D ポーズと I3D 機能の融合によって達成されます。導入された外科的スキルのプロキシは、専門家と比較して初心者に大きな違いをもたらし、改善のための実用的なフィードバックを生み出しました。結論: この研究は、ジェスチャー セグメンテーションとスキル評価における有効性を分析することにより、開腹手術における姿勢推定の利点を示しています。ポーズ推定を使用したジェスチャ セグメンテーションは、物理センサーに匹敵する結果を達成しながら、リモートでマーカーを使用しませんでした。ポーズ推定に依存する外科的スキル プロキシは、自動化されたトレーニング フィードバックに向けた作業に使用できることが証明されました。私たちの調査結果が、手術トレーニングをより効率的にするための新しいスキルプロキシに関する追加のコラボレーションを促進することを願っています.
Purpose: This research aims to facilitate the use of state-of-the-art computer vision algorithms for the automated training of surgeons and the analysis of surgical footage. By estimating 2D hand poses, we model the movement of the practitioner's hands, and their interaction with surgical instruments, to study their potential benefit for surgical training. Methods: We leverage pre-trained models on a publicly-available hands dataset to create our own in-house dataset of 100 open surgery simulation videos with 2D hand poses. We also assess the ability of pose estimations to segment surgical videos into gestures and tool-usage segments and compare them to kinematic sensors and I3D features. Furthermore, we introduce 6 novel surgical skill proxies stemming from domain experts' training advice, all of which our framework can automatically detect given raw video footage. Results: State-of-the-art gesture segmentation accuracy of 88.49% on the Open Surgery Simulation dataset is achieved with the fusion of 2D poses and I3D features from multiple angles. The introduced surgical skill proxies presented significant differences for novices compared to experts and produced actionable feedback for improvement. Conclusion: This research demonstrates the benefit of pose estimations for open surgery by analyzing their effectiveness in gesture segmentation and skill assessment. Gesture segmentation using pose estimations achieved comparable results to physical sensors while being remote and markerless. Surgical skill proxies that rely on pose estimation proved they can be used to work towards automated training feedback. We hope our findings encourage additional collaboration on novel skill proxies to make surgical training more efficient.