arXiv reaDer
LightDepth: 単一ビューの深度の照度低下による自己監視
LightDepth: Single-View Depth Self-Supervision from Illumination Decline
教師ありトレーニングに十分なグラウンドトゥルース深度データがある場合、単一ビュー深度推定は非常に効果的です。ただし、特に医療における内視鏡検査では、そのようなデータを取得できないシナリオもあります。このような場合、マルチビューの自己監視と合成から実への転送が代替アプローチとして機能しますが、監視ありの場合に比べてパフォーマンスが大幅に低下します。代わりに、教師ありの場合と同様のパフォーマンスを達成するシングルビュー自己教師あり手法を提案します。内視鏡などの一部の医療機器では、カメラと光源がターゲット表面からわずかな距離に同じ場所に設置されています。したがって、任意のアルベドと表面の向きに対して、ピクセルの明るさが表面までの距離の二乗に反比例し、強力な単一ビュー自己監視信号を提供できることを利用できます。私たちの実験では、自己教師ありモデルは完全教師ありモデルと同等の精度を実現しながら、深度のグラウンドトゥルース データがなくても適用できます。
Single-view depth estimation can be remarkably effective if there is enough ground-truth depth data for supervised training. However, there are scenarios, especially in medicine in the case of endoscopies, where such data cannot be obtained. In such cases, multi-view self-supervision and synthetic-to-real transfer serve as alternative approaches, however, with a considerable performance reduction in comparison to supervised case. Instead, we propose a single-view self-supervised method that achieves a performance similar to the supervised case. In some medical devices, such as endoscopes, the camera and light sources are co-located at a small distance from the target surfaces. Thus, we can exploit that, for any given albedo and surface orientation, pixel brightness is inversely proportional to the square of the distance to the surface, providing a strong single-view self-supervisory signal. In our experiments, our self-supervised models deliver accuracies comparable to those of fully supervised ones, while being applicable without depth ground-truth data.
updated: Mon Aug 21 2023 07:25:58 GMT+0000 (UTC)
published: Mon Aug 21 2023 07:25:58 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト