低侵襲手術および関連アプリケーションでは、インスタンス レベルでの手術ツールの分類とセグメンテーションが必要です。手術器具は外観が似ており、長くて薄く、斜めに扱われます。機器セグメンテーションのために自然画像でトレーニングされた最先端 (SOTA) インスタンス セグメンテーション モデルの微調整には、機器クラスの識別が困難です。私たちの調査では、バウンディング ボックスとセグメンテーション マスクはしばしば正確ですが、分類ヘッドは手術器具のクラス ラベルを誤って分類することが示されています。既存のインスタンス セグメンテーション モデルに新しい段階として分類モジュールを追加する新しいニューラル ネットワーク フレームワークを提示します。このモジュールは、既存のモデルによって生成されたインストルメント マスクの分類を改善することを専門としています。このモジュールは、インストルメント領域に注意を払い、気を散らす背景機能をマスクするマルチスケール マスク アテンションを備えています。アーク損失を伴うメトリック学習を使用して分類器モジュールをトレーニングし、手術器具の低いクラス間分散を処理することを提案します。ベンチマーク データセット EndoVis2017 および EndoVis2018 で徹底的な実験を行います。私たちの方法は、すべての (18 以上の) SOTA 方法よりも優れており、EndoVis2017 ベンチマーク チャレンジで SOTA のパフォーマンスを少なくとも 12 ポイント (20%) 向上させ、データセット全体で効果的に一般化することを示しています。
Minimally invasive surgeries and related applications demand surgical tool classification and segmentation at the instance level. Surgical tools are similar in appearance and are long, thin, and handled at an angle. The fine-tuning of state-of-the-art (SOTA) instance segmentation models trained on natural images for instrument segmentation has difficulty discriminating instrument classes. Our research demonstrates that while the bounding box and segmentation mask are often accurate, the classification head mis-classifies the class label of the surgical instrument. We present a new neural network framework that adds a classification module as a new stage to existing instance segmentation models. This module specializes in improving the classification of instrument masks generated by the existing model. The module comprises multi-scale mask attention, which attends to the instrument region and masks the distracting background features. We propose training our classifier module using metric learning with arc loss to handle low inter-class variance of surgical instruments. We conduct exhaustive experiments on the benchmark datasets EndoVis2017 and EndoVis2018. We demonstrate that our method outperforms all (more than 18) SOTA methods compared with, and improves the SOTA performance by at least 12 points (20%) on the EndoVis2017 benchmark challenge and generalizes effectively across the datasets.