arXiv reaDer
画像領域適応とエッジ認識深度推定を使用したシングルショット単眼内視鏡画像からの深度推定
Depth Estimation from Single-shot Monocular Endoscope Image Using Image Domain Adaptation And Edge-Aware Depth Estimation
ドメイン適応によるランバート表面並進とマルチスケールエッジロスを用いた深度推定を用いた単発単眼内視鏡画像からの深度推定法を提案する。対になっていないデータからのランバート表面変換と深度推定を含む2段階の推定プロセスを採用しています。臓器の表面のテクスチャと鏡面反射は、深度推定の精度を低下させます。ランバート表面変換を内視鏡画像に適用して、これらのテクスチャと反射を除去します。次に、完全畳み込みネットワーク(FCN)を使用して深度を推定します。 FCNのトレーニング中、推定画像とグラウンドトゥルース深度画像の間のオブジェクトエッジの類似性を改善することは、より良い結果を得るために重要です。深度推定の精度を向上させるために、マルチスケールのエッジ損失関数を導入しました。実際の大腸内視鏡画像を用いて提案手法を定量的に評価した。推定深度値は、実際の深度値に比例していました。さらに、推定深度画像を、畳み込みニューラルネットワークを使用した結腸内視鏡画像の自動解剖学的位置識別に適用しました。推定深度画像を使用することにより、ネットワークの識別精度が69.2%から74.1%に向上しました。
We propose a depth estimation method from a single-shot monocular endoscopic image using Lambertian surface translation by domain adaptation and depth estimation using multi-scale edge loss. We employ a two-step estimation process including Lambertian surface translation from unpaired data and depth estimation. The texture and specular reflection on the surface of an organ reduce the accuracy of depth estimations. We apply Lambertian surface translation to an endoscopic image to remove these texture and reflections. Then, we estimate the depth by using a fully convolutional network (FCN). During the training of the FCN, improvement of the object edge similarity between an estimated image and a ground truth depth image is important for getting better results. We introduced a muti-scale edge loss function to improve the accuracy of depth estimation. We quantitatively evaluated the proposed method using real colonoscopic images. The estimated depth values were proportional to the real depth values. Furthermore, we applied the estimated depth images to automated anatomical location identification of colonoscopic images using a convolutional neural network. The identification accuracy of the network improved from 69.2% to 74.1% by using the estimated depth images.
updated: Wed Jan 12 2022 14:06:54 GMT+0000 (UTC)
published: Wed Jan 12 2022 14:06:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト