3D シーン フローは、シーン内のすべてのオブジェクトの非剛体運動を自律的に推測する能力を備えた 3D ユークリッド空間で、現時点のポイントが次の時間にどのように流れるかを特徴付けます。画像からシーン フローを推定する以前の方法には制限があり、オプティカル フローと視差を別々に推定することで、3D シーン フローの全体的な性質を分割していました。点群から 3D シーン フローを学習することは、合成データと実際のデータの間のギャップ、および LiDAR 点群のまばらさという問題にも直面します。この論文では、生成された密な深度マップを利用して明示的な 3D 座標を取得し、2D 画像から 3D シーン フローの直接学習を実現します。予測されるシーン フローの安定性は、2D ピクセルの高密度の性質を 3D 空間に導入することで改善されます。生成された 3D ポイント クラウドの外れ値は統計的手法によって除去され、3D シーン フロー推定タスクに対するノイズ ポイントの影響が弱まります。 3D シーン フローのより効果的な教師なし学習を実現するために、視差整合性損失が提案されています。実世界の画像での 3D シーン フローの自己教師あり学習の提案された方法は、合成されたデータセットでの学習および LiDAR 点群での学習のさまざまな方法と比較されます。複数のシーン フロー メトリックの比較は、疑似 LiDAR ポイント クラウドをシーン フロー推定に導入することの有効性と優位性を実証するために示されています。
3D scene flow characterizes how the points at the current time flow to the next time in the 3D Euclidean space, which possesses the capacity to infer autonomously the non-rigid motion of all objects in the scene. The previous methods for estimating scene flow from images have limitations, which split the holistic nature of 3D scene flow by estimating optical flow and disparity separately. Learning 3D scene flow from point clouds also faces the difficulties of the gap between synthesized and real data and the sparsity of LiDAR point clouds. In this paper, the generated dense depth map is utilized to obtain explicit 3D coordinates, which achieves direct learning of 3D scene flow from 2D images. The stability of the predicted scene flow is improved by introducing the dense nature of 2D pixels into the 3D space. Outliers in the generated 3D point cloud are removed by statistical methods to weaken the impact of noisy points on the 3D scene flow estimation task. Disparity consistency loss is proposed to achieve more effective unsupervised learning of 3D scene flow. The proposed method of self-supervised learning of 3D scene flow on real-world images is compared with a variety of methods for learning on the synthesized dataset and learning on LiDAR point clouds. The comparisons of multiple scene flow metrics are shown to demonstrate the effectiveness and superiority of introducing pseudo-LiDAR point cloud to scene flow estimation.