ロボット支援手術における自動化および画像誘導アプリケーションを可能にするためには、変形可能な追跡と 3D 組織運動のリアルタイム推定が不可欠です。私たちのモデルである Sparse Efficient Neural Depth and Deformation (SENDD) は、以前の 2D 追跡作業を拡張して 3D 空間の流れを推定します。 SENDD は、学習された検出、スパースなポイントごとの深さおよび 3D フロー推定の新しい貢献を導入しており、すべて 50 万未満のパラメーターを使用します。 SENDD は、疎なキーポイント一致のグラフ ニューラル ネットワークを使用してこれを行い、深さと 3D フローの両方を推定します。包括的にラベル付けされた組織データセットで SENDD を定量化およびベンチマークし、同等の 2D フロー モデルと比較します。 SENDD は、2D フローではできないアプリケーションを有効にしながら、同等のパフォーマンスを発揮します。 SENDD は、NVIDIA RTX 4000 上で 1,280 個の追跡 (クエリ) ポイントに対して 10fps でポイントを追跡し、深度を推定できます。そのコストは、ポイント数の増減に応じて直線的に増加します。 SENDD により、3D 動き推定を必要とする複数のダウンストリーム アプリケーションが可能になります。
Deformable tracking and real-time estimation of 3D tissue motion is essential to enable automation and image guidance applications in robotically assisted surgery. Our model, Sparse Efficient Neural Depth and Deformation (SENDD), extends prior 2D tracking work to estimate flow in 3D space. SENDD introduces novel contributions of learned detection, and sparse per-point depth and 3D flow estimation, all with less than half a million parameters. SENDD does this by using graph neural networks of sparse keypoint matches to estimate both depth and 3D flow. We quantify and benchmark SENDD on a comprehensively labelled tissue dataset, and compare it to an equivalent 2D flow model. SENDD performs comparably while enabling applications that 2D flow cannot. SENDD can track points and estimate depth at 10fps on an NVIDIA RTX 4000 for 1280 tracked (query) points and its cost scales linearly with an increasing/decreasing number of points. SENDD enables multiple downstream applications that require 3D motion estimation.