手術におけるロボット自動化には、手術道具の正確な追跡と変形可能な組織のマッピングが必要です。外科的知覚フレームワークに関するこれまでの研究では、外科用ツールと組織追跡の機能を開発するために多大な努力が必要です。この研究では、外科的知覚のためのディープラーニング手法を活用することにより、課題を克服します。効率的な特徴抽出が可能なディープニューラルネットワークを、組織の再構築および機器の姿勢推定プロセスに統合しました。転移学習を活用することにより、ディープラーニングベースのアプローチでは、最小限のトレーニングデータと、手術シーンを完全に把握するための機能エンジニアリングの労力が削減されます。このフレームワークは、包括的な分析のためにda Vinci Surgical Systemを使用する3つの公開データセットでテストされました。実験結果は、フレームワークが特徴抽出にディープラーニングを利用することにより、手術環境で最先端の追跡性能を達成することを示しています。
Robotic automation in surgery requires precise tracking of surgical tools and mapping of deformable tissue. Previous works on surgical perception frameworks require significant effort in developing features for surgical tool and tissue tracking. In this work, we overcome the challenge by exploiting deep learning methods for surgical perception. We integrated deep neural networks, capable of efficient feature extraction, into the tissue reconstruction and instrument pose estimation processes. By leveraging transfer learning, the deep learning based approach requires minimal training data and reduced feature engineering efforts to fully perceive a surgical scene. The framework was tested on three publicly available datasets, which use the da Vinci Surgical System, for comprehensive analysis. Experimental results show that our framework achieves state-of-the-art tracking performance in a surgical environment by utilizing deep learning for feature extraction.