arXiv reaDer
MonoPLFlowNet:単眼画像を使用した実物大の3DシーンFlowEstimationのためのPermutohedral Lattice FlowNet
MonoPLFlowNet: Permutohedral Lattice FlowNet for Real-Scale 3D Scene FlowEstimation with Monocular Images
実物大のシーンフロー推定は、3Dコンピュータビジョンにとってますます重要になっています。一部の作品では、LiDARを使用して実際の3Dシーンフローを正常に推定しています。ただし、これらのユビキタスで高価なセンサーは、実際のアプリケーションに広く装備される可能性はまだ低いです。他の作品では、単眼画像を使用してシーンフローを推定していますが、シーンフローの推定はスケールのあいまいさで正規化されており、実際のスケールを復元するには、追加の深度または点群のグラウンドトゥルースが必要です。これらの作品は2Dでうまく機能しますが、正確で信頼性の高い3D推定を提供しません。パーミュトヘドラル格子上のディープラーニングアーキテクチャであるMonoPLFlowNetを紹介します。これまでのすべての作品とは異なり、MonoPLFlowNetは、2つの連続する単眼画像のみを入力として使用し、深度と3Dシーンフローの両方を実際のスケールで推定する最初の作品です。私たちの実物大のシーンフロー推定は、グラウンドトゥルースによって実物大に復元されたすべての最先端の単眼画像ベースの作品よりも優れており、LiDARアプローチに匹敵します。副産物として、私たちの実際の深度推定は、他の最先端の作品よりも優れています。
Real-scale scene flow estimation has become increasingly important for 3D computer vision. Some works successfully estimate real-scale 3D scene flow with LiDAR. However, these ubiquitous and expensive sensors are still unlikely to be equipped widely for real application. Other works use monocular images to estimate scene flow, but their scene flow estimations are normalized with scale ambiguity, where additional depth or point cloud ground truth are required to recover the real scale. Even though they perform well in 2D, these works do not provide accurate and reliable 3D estimates. We present a deep learning architecture on permutohedral lattice - MonoPLFlowNet. Different from all previous works, our MonoPLFlowNet is the first work where only two consecutive monocular images are used as input, while both depth and 3D scene flow are estimated in real scale. Our real-scale scene flow estimation outperforms all state-of-the-art monocular-image based works recovered to real scale by ground truth, and is comparable to LiDAR approaches. As a by-product, our real-scale depth estimation also outperforms other state-of-the-art works.
updated: Wed Nov 24 2021 08:20:34 GMT+0000 (UTC)
published: Wed Nov 24 2021 08:20:34 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト