arXiv reaDer
MFuseNet:学習したマルチスコピックフュージョンによるロバストな深度推定
MFuseNet: Robust Depth Estimation with Learned Multiscopic Fusion
低コストの単眼RGBカメラを利用して正確な深度推定を取得するマルチスコピックビジョンシステムを設計します。制約のないカメラポーズで画像をキャプチャするマルチビューステレオとは異なり、提案されたシステムは、カメラの動きを制御して、同じ視差で水平または垂直に整列した位置に一連の画像をキャプチャします。このシステムでは、参照画像とその周囲の画像の間で複数のコストボリュームを融合するための新しいヒューリスティック手法と堅牢な学習ベースの手法を提案します。トレーニングデータを取得するために、マルチスコピック画像を使用して合成データセットを構築します。実世界のミドルベリーデータセットと実際のロボットのデモンストレーションでの実験は、私たちのマルチスコピックビジョンシステムが深度推定において従来の2フレームステレオマッチング法よりも優れていることを示しています。コードとデータセットはhttps://sites.google.com/view/multiscopicで入手できます。
We design a multiscopic vision system that utilizes a low-cost monocular RGB camera to acquire accurate depth estimation. Unlike multi-view stereo with images captured at unconstrained camera poses, the proposed system controls the motion of a camera to capture a sequence of images in horizontally or vertically aligned positions with the same parallax. In this system, we propose a new heuristic method and a robust learning-based method to fuse multiple cost volumes between the reference image and its surrounding images. To obtain training data, we build a synthetic dataset with multiscopic images. The experiments on the real-world Middlebury dataset and real robot demonstration show that our multiscopic vision system outperforms traditional two-frame stereo matching methods in depth estimation. Our code and dataset are available at https://sites.google.com/view/multiscopic.
updated: Fri Aug 06 2021 07:31:12 GMT+0000 (UTC)
published: Thu Aug 05 2021 08:31:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト