ステレオ内視鏡ビデオから軟組織を再構成することは、多くの医療用途にとって必須の前提条件です。従来の方法では、3D シーンの表現が不十分なため、高品質のジオメトリと外観を生成するのが困難でした。この問題に対処するために、EndoSurf と呼ばれる新しいニューラル フィールド ベースの方法を提案します。この方法は、RGBD シーケンスから変形する表面を表現する方法を効果的に学習します。 EndoSurf では、3 つのニューラル フィールドを使用して表面のダイナミクス、形状、テクスチャをモデル化します。まず、変形フィールドを使用して、3D 点が観測空間から正準空間に変換されます。符号付き距離関数 (SDF) フィールドと放射輝度フィールドは、それぞれ SDF と色を予測し、微分可能なボリューム レンダリングを介して RGBD 画像を合成できます。複数の正則化戦略を調整し、ジオメトリと外観を解きほぐすことで、学習した形状を制約します。公開内視鏡データセットでの実験では、EndoSurf が、特に忠実度の高い形状の再構築において、既存のソリューションを大幅に上回るパフォーマンスを示しています。コードは https://github.com/Ruyi-Zha/endosurf.git で入手できます。
Reconstructing soft tissues from stereo endoscope videos is an essential prerequisite for many medical applications. Previous methods struggle to produce high-quality geometry and appearance due to their inadequate representations of 3D scenes. To address this issue, we propose a novel neural-field-based method, called EndoSurf, which effectively learns to represent a deforming surface from an RGBD sequence. In EndoSurf, we model surface dynamics, shape, and texture with three neural fields. First, 3D points are transformed from the observed space to the canonical space using the deformation field. The signed distance function (SDF) field and radiance field then predict their SDFs and colors, respectively, with which RGBD images can be synthesized via differentiable volume rendering. We constrain the learned shape by tailoring multiple regularization strategies and disentangling geometry and appearance. Experiments on public endoscope datasets demonstrate that EndoSurf significantly outperforms existing solutions, particularly in reconstructing high-fidelity shapes. Code is available at https://github.com/Ruyi-Zha/endosurf.git.