arXiv reaDer
Video-based surgical skill assessment using 3D convolutional neural networks
  目的:外科医の介入が効果的かつ安全であることを保証するために、初心者外科医の深遠な教育が不可欠です。 1つの重要な側面は、低侵襲またはロボット支援の手順に関する技術的なスキルを教えることです。これには、手術スキルの客観的で、できれば自動評価が含まれます。最近の研究では、手術器具の軌跡などの運動データを収集および分析することにより、自動で客観的なスキル評価の良い結果が示されました。ただし、モーションデータを取得するには、通常、機器の追跡用の追加の機器、または運動学的データをキャプチャするロボット手術システムの可用性が必要です。対照的に、ビデオデータのみを必要とする自動の客観的なスキル評価の方法を調査します。これには、低侵襲でロボット支援のトレーニングシナリオでビデオを簡単に収集できるという利点があります。メソッド:このメソッドは、深層学習ベースのビデオ分類の最近の進歩に基づいています。具体的には、膨らませた3D ConvNetを使用して、スニペット、つまり手術用ビデオから抽出したいくつかの連続したフレームのスタックを分類することを提案します。ネットワークは、トレーニング中に時間セグメントネットワークに拡張されます。結果:ドライラボのベンチトップモデルで実行された基本的なロボット支援手術タスクの記録で構成される、公開されているJIGSAWSデータセットでメソッドを評価します。私たちのアプローチは、95.1%から100.0%の範囲の高いスキル分類精度を達成します。結論:我々の結果は、手術ビデオからの技術的スキルのディープラーニングベースの評価の実現可能性を示しています。特に、3D ConvNetはデータから意味のあるパターンを直接学習できるため、手動での機能エンジニアリングの必要性が軽減されます。さらに評価するには、トレーニングとテストのためにより多くの注釈付きデータが必要になります。
Purpose: A profound education of novice surgeons is crucial to ensure that surgical interventions are effective and safe. One important aspect is the teaching of technical skills for minimally invasive or robot-assisted procedures. This includes the objective and preferably automatic assessment of surgical skill. Recent studies presented good results for automatic, objective skill evaluation by collecting and analyzing motion data such as trajectories of surgical instruments. However, obtaining the motion data generally requires additional equipment for instrument tracking or the availability of a robotic surgery system to capture kinematic data. In contrast, we investigate a method for automatic, objective skill assessment that requires video data only. This has the advantage that video can be collected effortlessly during minimally invasive and robot-assisted training scenarios. Methods: Our method builds on recent advances in deep learning-based video classification. Specifically, we propose to use an inflated 3D ConvNet to classify snippets, i.e., stacks of a few consecutive frames, extracted from surgical video. The network is extended into a Temporal Segment Network during training. Results: We evaluate the method on the publicly available JIGSAWS dataset, which consists of recordings of basic robot-assisted surgery tasks performed on a dry lab bench-top model. Our approach achieves high skill classification accuracies ranging from 95.1% to 100.0%. Conclusions: Our results demonstrate the feasibility of deep learning-based assessment of technical skill from surgical video. Notably, the 3D ConvNet is able to learn meaningful patterns directly from the data, alleviating the need for manual feature engineering. Further evaluation will require more annotated data for training and testing.
updated: Wed Sep 04 2019 12:49:50 GMT+0000 (UTC)
published: Wed Mar 06 2019 10:54:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト