ディープシーンフロー推定ネットワークであるFlowNet3D ++を紹介します。 FlowNet3D ++は、古典的な方法に着想を得て、流れ場内の個々のベクトル間の点から面までの距離と角度調整の形で幾何学的制約をFlowNet3Dに組み込みます。これらの幾何学的損失項を追加することで、従来のFlowNet3Dの精度が57.85%から63.43%に向上することを示しています。幾何学的制約の有効性をさらに実証するために、動的3D再構築のタスクに関するフロー推定のベンチマークを提案します。これにより、以前にシーンフローの評価に使用されていた個々のメトリックの内訳よりもパフォーマンスの全体的かつ実用的な尺度を提供します。これは、ポイントベースのシーンフロー予測をグローバルな密集ボリュームに統合するための新しいパイプラインの貢献により可能になりました。 FlowNet3D ++は、FlowNet3Dと比較して再構成エラーを最大15.0%削減し、KillingFusionのみを最大35.2%改善します。シーンフロー推定コードは後でリリースします。
We present FlowNet3D++, a deep scene flow estimation network. Inspired by classical methods, FlowNet3D++ incorporates geometric constraints in the form of point-to-plane distance and angular alignment between individual vectors in the flow field, into FlowNet3D. We demonstrate that the addition of these geometric loss terms improves the previous state-of-art FlowNet3D accuracy from 57.85% to 63.43%. To further demonstrate the effectiveness of our geometric constraints, we propose a benchmark for flow estimation on the task of dynamic 3D reconstruction, thus providing a more holistic and practical measure of performance than the breakdown of individual metrics previously used to evaluate scene flow. This is made possible through the contribution of a novel pipeline to integrate point-based scene flow predictions into a global dense volume. FlowNet3D++ achieves up to a 15.0% reduction in reconstruction error over FlowNet3D, and up to a 35.2% improvement over KillingFusion alone. We will release our scene flow estimation code later.