arXiv reaDer
SAMSNeRF: セグメント エニシング モデル (SAM) は、Neural Radiance Field (NeRF) による動的手術シーンの再構成をガイドします
SAMSNeRF: Segment Anything Model (SAM) Guides Dynamic Surgical Scene Reconstruction by Neural Radiance Field (NeRF)
手術ビデオから手術シーンを正確に再構成することは、術中ナビゲーションや画像誘導ロボット手術自動化などのさまざまなアプリケーションにとって重要です。しかし、主に深度推定に依存するこれまでのアプローチでは、移動する手術器具を使用して手術シーンを再構成する際の有効性が限られていました。この制限に対処し、すべてのフレームで手術ツールの正確な 3D 位置予測を提供するために、Segment Anything Model (SAM) と Neural Radiance Field (NeRF) 技術を組み合わせた SAMSNeRF と呼ばれる新しいアプローチを提案します。私たちのアプローチは、SAM を使用して手術ツールの正確なセグメンテーション マスクを生成します。これは、NeRF による動的手術シーン再構築の洗練を導きます。公開内視鏡手術ビデオに関する私たちの実験結果は、私たちのアプローチが高忠実度の動的な手術シーンを再構築し、手術ツールの空間情報を正確に反映することに成功していることを示しています。私たちが提案するアプローチは、手術中に外科医に手術ツールの正確な 3D 位置情報を提供することで、手術のナビゲーションと自動化を大幅に強化できます。ソース コードは間もなく公開されます。
The accurate reconstruction of surgical scenes from surgical videos is critical for various applications, including intraoperative navigation and image-guided robotic surgery automation. However, previous approaches, mainly relying on depth estimation, have limited effectiveness in reconstructing surgical scenes with moving surgical tools. To address this limitation and provide accurate 3D position prediction for surgical tools in all frames, we propose a novel approach called SAMSNeRF that combines Segment Anything Model (SAM) and Neural Radiance Field (NeRF) techniques. Our approach generates accurate segmentation masks of surgical tools using SAM, which guides the refinement of the dynamic surgical scene reconstruction by NeRF. Our experimental results on public endoscopy surgical videos demonstrate that our approach successfully reconstructs high-fidelity dynamic surgical scenes and accurately reflects the spatial information of surgical tools. Our proposed approach can significantly enhance surgical navigation and automation by providing surgeons with accurate 3D position information of surgical tools during surgery.The source code will be released soon.
updated: Tue Feb 06 2024 04:29:34 GMT+0000 (UTC)
published: Tue Aug 22 2023 20:31:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト