ロボット支援手術のための手術器具のセグメンテーションは、正確な器具の追跡と拡張現実オーバーレイのために必要です。したがって、このトピックは、CAIコミュニティの最近の多くの論文の主題となっています。ディープラーニングベースの方法は、手術器具のセグメンテーションの最先端のパフォーマンスを示していますが、その結果はラベル付けされたデータに依存します。ただし、ラベル付けされた外科データは限られた可用性であり、これらの方法の外科的翻訳のボトルネックです。この論文では、人間のロボット支援手術を含む、さまざまなデータセットでのこれらの方法の限定的な一般化可能性を示しています。次に、ラベル付けされたデータがないドメインへのより優れた一般化機能を備えたセグメンテーションモデルを学習するために、新しい共同生成およびセグメンテーション戦略を提案します。この方法では、別のドメインでラベル付けされたデータの可用性を活用します。ジェネレーターは、ラベル付きドメインからラベルなしドメインへのドメイン変換を実行すると同時に、生成モデルを正規化しながら、生成されたデータを使用して学習します。私たちの方法を最先端の方法と比較し、公的に利用可能なデータセットとロボット支援前立腺切除術からの私たち自身の記録されたビデオフレームでその一般化可能性を示しました。私たちの方法は、データがドメインの1つでのみ利用可能な場合、ラベル付きドメインとラベルなしドメインの両方で一貫して高い平均ダイススコアを示します。 * M。 KaliaとT.Aleefは原稿に等しく貢献しました
Surgical instrument segmentation for robot-assisted surgery is needed for accurate instrument tracking and augmented reality overlays. Therefore, the topic has been the subject of a number of recent papers in the CAI community. Deep learning-based methods have shown state-of-the-art performance for surgical instrument segmentation, but their results depend on labelled data. However, labelled surgical data is of limited availability and is a bottleneck in surgical translation of these methods. In this paper, we demonstrate the limited generalizability of these methods on different datasets, including human robot-assisted surgeries. We then propose a novel joint generation and segmentation strategy to learn a segmentation model with better generalization capability to domains that have no labelled data. The method leverages the availability of labelled data in a different domain. The generator does the domain translation from the labelled domain to the unlabelled domain and simultaneously, the segmentation model learns using the generated data while regularizing the generative model. We compared our method with state-of-the-art methods and showed its generalizability on publicly available datasets and on our own recorded video frames from robot-assisted prostatectomies. Our method shows consistently high mean Dice scores on both labelled and unlabelled domains when data is available only for one of the domains. *M. Kalia and T. Aleef contributed equally to the manuscript