ロボット支援手術の内視鏡視力における正確な器具のセグメンテーションは、器具への反射と組織との頻繁な接触のために困難です。ディープニューラルネットワーク(DNN)は競争力のあるパフォーマンスを示しており、近年好まれています。ただし、ラベル付けされたデータに対するDNNの渇望は、注釈の膨大な作業負荷をもたらします。この作業負荷を軽減することを動機として、アクティブに生成された合成画像を使用して、ラベル付けされた実画像の使用を減らすための一般的な埋め込み可能な方法を提案します。各アクティブラーニングの反復では、最も有益なラベルのない画像が最初にアクティブラーニングによってクエリされ、次にラベルが付けられます。次に、これらの選択された画像に基づいて合成画像が生成されます。楽器と背景は切り取られ、境界近くでブレンドと融合を行ってランダムに組み合わされます。提案された方法の有効性は、2つの副鼻腔手術データセットと1つの腹腔内手術データセットで検証されます。結果は、特に注釈の予算が少ない場合に、パフォーマンスが大幅に向上することを示しています。さまざまなタイプの合成画像、ブレンド方法、および外部背景の有効性も調査されます。すべてのコードは、https://github.com/HaonanPeng/active_syn_generatorでオープンソース化されています。
Accurate instrument segmentation in endoscopic vision of robot-assisted surgery is challenging due to reflection on the instruments and frequent contacts with tissue. Deep neural networks (DNN) show competitive performance and are in favor in recent years. However, the hunger of DNN for labeled data poses a huge workload of annotation. Motivated by alleviating this workload, we propose a general embeddable method to decrease the usage of labeled real images, using active generated synthetic images. In each active learning iteration, the most informative unlabeled images are first queried by active learning and then labeled. Next, synthetic images are generated based on these selected images. The instruments and backgrounds are cropped out and randomly combined with each other with blending and fusion near the boundary. The effectiveness of the proposed method is validated on 2 sinus surgery datasets and 1 intraabdominal surgery dataset. The results indicate a considerable improvement in performance, especially when the budget for annotation is small. The effectiveness of different types of synthetic images, blending methods, and external background are also studied. All the code is open-sourced at: https://github.com/HaonanPeng/active_syn_generator.