スパースLiDARをステレオ画像と融合することにより、密なシーンフローをロバストに推定するLiDAR-Flowと呼ばれる新しいアプローチを提案します。 LiDARの高精度を利用して、テクスチャのないオブジェクト、影、悪条件の照明環境などに起因するステレオ画像の一部の領域の情報不足を解決します。さらに、この融合により、LiDARのみのスキャン間で非構造化3Dポイントを一致させることの困難さを克服できます。 LiDAR-Flowアプローチは、3つの主要なステップで構成されています。それらはそれぞれLiDAR測定を活用します。まず、LiDARから強力なシードを構築して、ステレオ画像間の一致の堅牢性を強化します。画像部分は動きの一致を求め、シーンフロー推定の密度を高めます。次に、整合性チェックはLiDARシードを使用して、起こりうる不一致を取り除きます。最後に、LiDAR測定は、エッジ保存補間法を制約して、残りのギャップを埋めます。評価では、LiDAR-Flowアプローチの個々の処理手順を調査し、画像のみのアプローチと比較して優れたパフォーマンスを示します。
We propose a new approach called LiDAR-Flow to robustly estimate a dense scene flow by fusing a sparse LiDAR with stereo images. We take the advantage of the high accuracy of LiDAR to resolve the lack of information in some regions of stereo images due to textureless objects, shadows, ill-conditioned light environment and many more. Additionally, this fusion can overcome the difficulty of matching unstructured 3D points between LiDAR-only scans. Our LiDAR-Flow approach consists of three main steps; each of them exploits LiDAR measurements. First, we build strong seeds from LiDAR to enhance the robustness of matches between stereo images. The imagery part seeks the motion matches and increases the density of scene flow estimation. Then, a consistency check employs LiDAR seeds to remove the possible mismatches. Finally, LiDAR measurements constraint the edge-preserving interpolation method to fill the remaining gaps. In our evaluation we investigate the individual processing steps of our LiDAR-Flow approach and demonstrate the superior performance compared to image-only approach.