高密度の深さの推定と手術シーンの3D再構成は、コンピューター支援手術の重要なステップです。最近の研究では、ステレオ画像ペアからの深度推定は畳み込みニューラルネットワークで解決できることが示されています。ただし、最新の深度推定モデルは、ピクセルごとのグラウンドトゥルースを使用したデータセットでトレーニングされています。このようなデータは腹腔鏡イメージングでは特にまれであり、実際の外科的アプリケーションに教師あり深度推定を適用することは困難です。この制限を克服するために、生成的敵対的ネットワークに基づく新しい自己教師あり深度推定法であるSADepthを提案します。これは、トレーニング中にジオメトリの制約を組み込むためのエンコーダ-デコーダジェネレータとディスクリミネータで構成されています。ジェネレータからのマルチスケール出力は、測光再投影損失によって引き起こされる極小値を解決するのに役立ちますが、敵対的な学習はフレームワーク生成の品質を向上させます。 2つの公開データセットでの広範な実験により、SADepthは、最近の最先端の教師なし手法を大幅に上回り、腹腔鏡画像の教師ありと教師なしの深度推定間のギャップを減らすことが示されています。
Dense depth estimation and 3D reconstruction of a surgical scene are crucial steps in computer assisted surgery. Recent work has shown that depth estimation from a stereo images pair could be solved with convolutional neural networks. However, most recent depth estimation models were trained on datasets with per-pixel ground truth. Such data is especially rare for laparoscopic imaging, making it hard to apply supervised depth estimation to real surgical applications. To overcome this limitation, we propose SADepth, a new self-supervised depth estimation method based on Generative Adversarial Networks. It consists of an encoder-decoder generator and a discriminator to incorporate geometry constraints during training. Multi-scale outputs from the generator help to solve the local minima caused by the photometric reprojection loss, while the adversarial learning improves the framework generation quality. Extensive experiments on two public datasets show that SADepth outperforms recent state-of-the-art unsupervised methods by a large margin, and reduces the gap between supervised and unsupervised depth estimation in laparoscopic images.