2つの連続する時間枠の間のまばらにサンプリングされたポイントの3D空間での流れを理解することは、VR / AR、ロボット工学、自動運転などの最新の幾何学的駆動システムの核となる石です。このタスクの実際の、シミュレートされていない、ラベル付けされたデータの欠如は、自己または監視されていないディープアーキテクチャの重要性を強調しています。この作品は、新しい自己教師ありトレーニング方法とオクルージョンの下での3Dシーンフロー推定のためのアーキテクチャを提示します。ここでは、フロー予測とオクルージョン検出の間のスマートな多層融合が、オクルージョンシナリオと非オクルージョンシナリオで従来のアーキテクチャよりも大幅に優れていることを示します。教師ありトレーニングと自己教師ありトレーニングの両方について、Flyingthings3DおよびKITTIデータセットに関する最新の結果を報告します。
Understanding the flow in 3D space of sparsely sampled points between two consecutive time frames is the core stone of modern geometric-driven systems such as VR/AR, Robotics, and Autonomous driving. The lack of real, non-simulated, labeled data for this task emphasizes the importance of self- or un-supervised deep architectures. This work presents a new self-supervised training method and an architecture for the 3D scene flow estimation under occlusions. Here we show that smart multi-layer fusion between flow prediction and occlusion detection outperforms traditional architectures by a large margin for occluded and non-occluded scenarios. We report state-of-the-art results on Flyingthings3D and KITTI datasets for both the supervised and self-supervised training.