本論文では、同期した2Dおよび3Dデータからオプティカルフローとシーンフローを共同で推定する問題を研究します。以前の方法では、共同タスクを独立した段階に分割する複雑なパイプラインを使用するか、2Dおよび3D情報を「早期融合」または「後期融合」の方法で融合します。このような万能のアプローチは、各モダリティの特性を十分に活用できない、またはモダリティ間の相補性を最大化できないというジレンマに悩まされています。この問題に対処するために、CamLiFlowと呼ばれる新しいエンドツーエンドのフレームワークを提案します。これは、2Dおよび3Dブランチで構成され、特定のレイヤーでそれらの間に複数の双方向接続があります。以前の作業とは異なり、ポイントベースの3Dブランチを適用して幾何学的特徴をより適切に抽出し、対称的な学習可能な演算子を設計して、密な画像の特徴と疎な点の特徴を融合します。また、3D-2D投影の非線形問題を解決するために、点群の変換を提案します。実験によると、CamLiFlowはより少ないパラメーターでより優れたパフォーマンスを実現します。私たちの方法は、KITTI Scene Flowベンチマークで1位にランクされ、1/7のパラメーターで以前のアートを上回っています。コードが利用可能になります。
In this paper, we study the problem of jointly estimating the optical flow and scene flow from synchronized 2D and 3D data. Previous methods either employ a complex pipeline which splits the joint task into independent stages, or fuse 2D and 3D information in an ``early-fusion'' or ``late-fusion'' manner. Such one-size-fits-all approaches suffer from a dilemma of failing to fully utilize the characteristic of each modality or to maximize the inter-modality complementarity. To address the problem, we propose a novel end-to-end framework, called CamLiFlow. It consists of 2D and 3D branches with multiple bidirectional connections between them in specific layers. Different from previous work, we apply a point-based 3D branch to better extract the geometric features and design a symmetric learnable operator to fuse dense image features and sparse point features. We also propose a transformation for point clouds to solve the non-linear issue of 3D-2D projection. Experiments show that CamLiFlow achieves better performance with fewer parameters. Our method ranks 1st on the KITTI Scene Flow benchmark, outperforming the previous art with 1/7 parameters. Code will be made available.