単眼ビデオから3Dメッシュを再構築する重要な要素の1つは、すべてのフレームの深度マップを生成することです。ただし、結腸内視鏡ビデオ再構成のアプリケーションでは、高品質の深度推定を生成することは困難です。ニューラルネットワークは、測光の気晴らしに簡単にだまされたり、結腸表面の複雑な形状をキャプチャできず、メッシュの破損につながる欠陥のある形状を予測したりする可能性があります。結腸内視鏡3D再構成の深度推定品質を根本的に改善することを目的として、この作業では、結腸内視鏡データの特別な課題に対処するための一連のトレーニング損失を設計しました。より良いトレーニングのために、深さと表面の法線情報の両方を使用して、一連の幾何学的一貫性目標が開発されました。また、従来の測光損失は、照明ノイズを補正するための機能マッチングによって拡張されました。トレーニングの損失が十分に強力であるため、ColDEという名前の自己監視フレームワークは、以前の深度知識を利用した以前の作業と比較して、結腸内視鏡検査データのより優れた深度マップを作成できます。再構築に使用される当社のネットワークは、後処理なしでリアルタイムで高品質の結腸メッシュを再構築することができ、臨床的に適用可能な最初のネットワークになります。
One of the key elements of reconstructing a 3D mesh from a monocular video is generating every frame's depth map. However, in the application of colonoscopy video reconstruction, producing good-quality depth estimation is challenging. Neural networks can be easily fooled by photometric distractions or fail to capture the complex shape of the colon surface, predicting defective shapes that result in broken meshes. Aiming to fundamentally improve the depth estimation quality for colonoscopy 3D reconstruction, in this work we have designed a set of training losses to deal with the special challenges of colonoscopy data. For better training, a set of geometric consistency objectives was developed, using both depth and surface normal information. Also, the classic photometric loss was extended with feature matching to compensate for illumination noise. With the training losses powerful enough, our self-supervised framework named ColDE is able to produce better depth maps of colonoscopy data as compared to the previous work utilizing prior depth knowledge. Used in reconstruction, our network is able to reconstruct good-quality colon meshes in real-time without any post-processing, making it the first to be clinically applicable.