arXiv reaDer
内視鏡器具セグメンテーションのための教師と学生の学習によるシミュレーションから実領域への適応
Simulation-to-Real domain adaptation with teacher-student learning for endoscopic instrument segmentation
目的:内視鏡ビデオでの手術器具のセグメンテーションは、自動化された手術シーンの理解とプロセスモデリングに不可欠です。ただし、手動の注釈は臨床専門家の貴重な時間を占めるため、このタスクを完全に監視された深層学習に依存することは困難です。方法:現在の整合性ベースの教師なしドメイン適応フレームワークの誤った学習問題に取り組むために、注釈付きシミュレーションデータとラベルなしの実際のデータから共同で学習する教師と学生の学習アプローチを紹介します。結果:3つのデータセットの経験的結果は、内視鏡器具セグメンテーションタスクの現在のアプローチに対する提案されたフレームワークの有効性を強調しています。さらに、すべてのデータセットのパフォーマンスに影響を与える主要な要因の分析を提供して、アプローチの長所と失敗モードを強調します。結論:提案されたアプローチは、ラベルのない実際の内視鏡ビデオフレームをうまく活用し、純粋なシミュレーションベースのトレーニングや以前の最先端技術よりも一般化パフォーマンスを向上させることができることを示しています。これにより、注釈が不足している設定での手術器具の効果的なセグメンテーションに一歩近づくことができます。
Purpose: Segmentation of surgical instruments in endoscopic videos is essential for automated surgical scene understanding and process modeling. However, relying on fully supervised deep learning for this task is challenging because manual annotation occupies valuable time of the clinical experts. Methods: We introduce a teacher-student learning approach that learns jointly from annotated simulation data and unlabeled real data to tackle the erroneous learning problem of the current consistency-based unsupervised domain adaptation framework. Results: Empirical results on three datasets highlight the effectiveness of the proposed framework over current approaches for the endoscopic instrument segmentation task. Additionally, we provide analysis of major factors affecting the performance on all datasets to highlight the strengths and failure modes of our approach. Conclusion: We show that our proposed approach can successfully exploit the unlabeled real endoscopic video frames and improve generalization performance over pure simulation-based training and the previous state-of-the-art. This takes us one step closer to effective segmentation of surgical tools in the annotation scarce setting.
updated: Tue Mar 02 2021 09:30:28 GMT+0000 (UTC)
published: Tue Mar 02 2021 09:30:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト