arXiv reaDer
SharpNet:単眼深度推定における閉塞輪郭の高速かつ正確な回復
SharpNet: Fast and Accurate Recovery of Occluding Contours in Monocular Depth Estimation
 SharpNet、入力輪郭画像の正確な深さマップを予測する方法を紹介します。特に、輪郭の再構築に注意を払っています。輪郭の遮蔽は、オブジェクト認識および拡張現実における仮想オブジェクトの現実的な統合の重要な手がかりです。しかし、それらは正確に再構築することも有名です。たとえば、ステレオベースの再構成方法では、閉塞する輪郭の周囲の点が1つの画像のみに表示されるため、これらは困難です。深さ予測を改善するために通常の推定を導入する最近の方法に触発され、深さを制限し、輪郭予測を閉塞する新しい用語を導入します。グラウンドトゥルースの深さは、遮蔽輪郭に沿ってピクセル完璧な精度で取得するのが難しいため、トレーニングには合成画像を使用し、その後、実際のデータを微調整します。困難なNYUv2-Depthデータセットでのアプローチを示し、このメソッドが、残りの画像の最新のメソッドと同等のパフォーマンスを発揮しながら、閉塞する輪郭に沿って最先端のパフォーマンスを発揮することを示します。遮蔽輪郭に沿った精度は、構造化された光に基づいた深度カメラによって取得された「グラウンドトゥルース」よりも実際に優れています。これを示すには、NYUv2-Depthに基づいた新しいベンチマークを導入し、単眼再構成における閉塞輪郭を評価します。これは2番目の貢献です。
We introduce SharpNet, a method that predicts an accurate depth map for an input color image, with a particular attention to the reconstruction of occluding contours: Occluding contours are an important cue for object recognition, and for realistic integration of virtual objects in Augmented Reality, but they are also notoriously difficult to reconstruct accurately. For example, they are a challenge for stereo-based reconstruction methods, as points around an occluding contour are visible in only one image. Inspired by recent methods that introduce normal estimation to improve depth prediction, we introduce a novel term that constrains depth and occluding contours predictions. Since ground truth depth is difficult to obtain with pixel-perfect accuracy along occluding contours, we use synthetic images for training, followed by fine-tuning on real data. We demonstrate our approach on the challenging NYUv2-Depth dataset, and show that our method outperforms the state-of-the-art along occluding contours, while performing on par with the best recent methods for the rest of the images. Its accuracy along the occluding contours is actually better than the `ground truth' acquired by a depth camera based on structured light. We show this by introducing a new benchmark based on NYUv2-Depth for evaluating occluding contours in monocular reconstruction, which is our second contribution.
updated: Mon Nov 11 2019 23:32:10 GMT+0000 (UTC)
published: Tue May 21 2019 13:08:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト