arXiv reaDer
形状認識関係ネットワークを介した正確な内視鏡的粘膜下層剥離術のためのリアルタイムのランドマーク検出
Real-time landmark detection for precise endoscopic submucosal dissection via shape-aware relation network
内視鏡的粘膜下層剥離術(ESD)手術における正確でリアルタイムのランドマーク検出のための新しい形状認識関係ネットワークを提案します。このタスクは臨床的に非常に重要ですが、複雑な手術環境での出血、照明の反射、モーションブラーのために非常に困難です。ターゲットオブジェクト間の幾何学的関係を無視するか、複雑な集約スキームを使用して関係をキャプチャする既存のソリューションと比較して、提案されたネットワークは、ランドマーク間の空間関係を最大限に活用することにより、リアルタイムのパフォーマンスを維持しながら満足のいく精度を達成できます。最初に、関係キーポイントヒートマップを自動的に生成するアルゴリズムを考案します。これにより、追加の手動注釈作業を使用せずに、ランドマーク間の空間関係の事前知識を直感的に表すことができます。次に、2つの補完的な正則化スキームを開発して、事前の知識をトレーニングプロセスに段階的に組み込みます。 1つのスキームはマルチタスク学習によるピクセルレベルの正則化を導入しますが、もう1つのスキームは、新しく設計されたグループ化された整合性エバリュエーターを利用してグローバルレベルの正則化を統合します。これにより、提案されたネットワークに敵対的な方法で関係制約が追加されます。どちらのスキームもトレーニングのモデルに有益であり、リアルタイムの検出を実現するために推論で簡単にアンロードできます。提案された方法の有効性を検証するために、食道癌のESD手術の大規模な社内データセットを確立します。広範な実験結果は、私たちのアプローチが精度と効率の点で最先端の方法を上回り、より良い検出結果をより速く達成することを示しています。 2つのダウンストリームアプリケーションでの有望な結果は、ESD臨床診療における私たちの方法の大きな可能性をさらに裏付けています。
We propose a novel shape-aware relation network for accurate and real-time landmark detection in endoscopic submucosal dissection (ESD) surgery. This task is of great clinical significance but extremely challenging due to bleeding, lighting reflection, and motion blur in the complicated surgical environment. Compared with existing solutions, which either neglect geometric relationships among targeting objects or capture the relationships by using complicated aggregation schemes, the proposed network is capable of achieving satisfactory accuracy while maintaining real-time performance by taking full advantage of the spatial relations among landmarks. We first devise an algorithm to automatically generate relation keypoint heatmaps, which are able to intuitively represent the prior knowledge of spatial relations among landmarks without using any extra manual annotation efforts. We then develop two complementary regularization schemes to progressively incorporate the prior knowledge into the training process. While one scheme introduces pixel-level regularization by multi-task learning, the other integrates global-level regularization by harnessing a newly designed grouped consistency evaluator, which adds relation constraints to the proposed network in an adversarial manner. Both schemes are beneficial to the model in training, and can be readily unloaded in inference to achieve real-time detection. We establish a large in-house dataset of ESD surgery for esophageal cancer to validate the effectiveness of our proposed method. Extensive experimental results demonstrate that our approach outperforms state-of-the-art methods in terms of accuracy and efficiency, achieving better detection results faster. Promising results on two downstream applications further corroborate the great potential of our method in ESD clinical practice.
updated: Mon Nov 08 2021 07:57:30 GMT+0000 (UTC)
published: Mon Nov 08 2021 07:57:30 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト