低侵襲手術における手術器具の検出は、コンピューター支援介入の重要な部分です。現在のアプローチは主に、教師ありモデルをトレーニングするために大量の完全にラベル付けされたデータを必要とする教師ありメソッドに基づいており、クラスの不均衡の問題のために疑似ラベルのバイアスに悩まされています。ただし、バウンディング ボックスの注釈を含む大規模な画像データセットは、ほとんど利用できないことがよくあります。半教師あり学習 (SSL) は、ごくわずかな量の注釈付きデータのみを使用して大規模なモデルをトレーニングする手段として最近登場しました。注釈コストの削減とは別に。 SSL は、より堅牢で一般化可能なモデルを作成する可能性も示しています。したがって、この論文では、知識の蒸留アプローチを通じてトレーニングデータの不足とデータの不均衡を軽減することを目的とした手術器具検出パラダイムの半教師あり学習 (SSL) フレームワークを紹介します。提案された作業では、教師と生徒の共同学習を初期化するラベル付きデータを使用してモデルをトレーニングします。ここで、生徒はラベルなしデータから教師が生成した疑似ラベルでトレーニングされます。背景領域から前景クラスを効果的に分離するために、検出器の関心領域ヘッドでマージンベースの分類損失関数を使用したマルチクラス距離を提案します。 m2cai16-tool-locations データセットでの結果は、さまざまな教師ありデータ設定 (注釈付きデータの 1%、2%、5%、10%) に対するアプローチの優位性を示しており、モデルは 8%、12%、27 の全体的な改善を達成しています。最先端の SSL メソッドと完全に監視されたベースラインをそれぞれ超える mAP の % (1% のラベル付きデータ)。コードは https://github.com/Mansoor-at/Semi-supervised-surgical-tool-det で入手できます
Surgical tool detection in minimally invasive surgery is an essential part of computer-assisted interventions. Current approaches are mostly based on supervised methods which require large fully labeled data to train supervised models and suffer from pseudo label bias because of class imbalance issues. However large image datasets with bounding box annotations are often scarcely available. Semi-supervised learning (SSL) has recently emerged as a means for training large models using only a modest amount of annotated data; apart from reducing the annotation cost. SSL has also shown promise to produce models that are more robust and generalizable. Therefore, in this paper we introduce a semi-supervised learning (SSL) framework in surgical tool detection paradigm which aims to mitigate the scarcity of training data and the data imbalance through a knowledge distillation approach. In the proposed work, we train a model with labeled data which initialises the Teacher-Student joint learning, where the Student is trained on Teacher-generated pseudo labels from unlabeled data. We propose a multi-class distance with a margin based classification loss function in the region-of-interest head of the detector to effectively segregate foreground classes from background region. Our results on m2cai16-tool-locations dataset indicate the superiority of our approach on different supervised data settings (1%, 2%, 5%, 10% of annotated data) where our model achieves overall improvements of 8%, 12% and 27% in mAP (on 1% labeled data) over the state-of-the-art SSL methods and a fully supervised baseline, respectively. The code is available at https://github.com/Mansoor-at/Semi-supervised-surgical-tool-det