arXiv reaDer
SCOOP: 自己監視対応と最適化ベースのシーン フロー
SCOOP: Self-Supervised Correspondence and Optimization-Based Scene Flow
シーン フローの推定は、コンピュータ ビジョンにおける長年の問題であり、その目標は、連続した観測からシーンの 3D モーションを見つけることです。最近、3D 点群からシーン フローを計算する取り組みが行われています。一般的なアプローチは、ソース ポイント クラウドとターゲット ポイント クラウドを使用してポイントごとの平行移動ベクトルを出力する回帰モデルをトレーニングすることです。別の方法は、点群間の点の一致を学習すると同時に、初期対応フローの改良を回帰することです。どちらの場合も、フロー回帰は自由な 3D 空間で行われるため、学習タスクは非常に困難であり、一般的な解決策は、注釈付きの大きな合成データセットに頼ることです。 SCOOP は、グラウンド トゥルース フロー監視を使用せずに少量のデータで学習できるシーン フロー推定の新しい方法です。以前の作業とは対照的に、ポイント機能表現の学習に焦点を当てた純粋な対応モデルをトレーニングし、フローをソース ポイントとそのソフトに対応するターゲット ポイントとの差として初期化します。次に、ランタイム フェーズで、自己監視型の目標を使用してフロー リファインメント コンポーネントを直接最適化します。これにより、ポイント クラウド間にコヒーレントで正確なフロー フィールドがもたらされます。広範なデータセットでの実験は、トレーニング データの一部を使用しながら、既存の主要な手法と比較して、この方法によって達成されたパフォーマンスの向上を示しています。私たちのコードは、https://github.com/itailang/SCOOP で公開されています。
Scene flow estimation is a long-standing problem in computer vision, where the goal is to find the 3D motion of a scene from its consecutive observations. Recently, there have been efforts to compute the scene flow from 3D point clouds. A common approach is to train a regression model that consumes source and target point clouds and outputs the per-point translation vector. An alternative is to learn point matches between the point clouds concurrently with regressing a refinement of the initial correspondence flow. In both cases, the learning task is very challenging since the flow regression is done in the free 3D space, and a typical solution is to resort to a large annotated synthetic dataset. We introduce SCOOP, a new method for scene flow estimation that can be learned on a small amount of data without employing ground-truth flow supervision. In contrast to previous work, we train a pure correspondence model focused on learning point feature representation and initialize the flow as the difference between a source point and its softly corresponding target point. Then, in the run-time phase, we directly optimize a flow refinement component with a self-supervised objective, which leads to a coherent and accurate flow field between the point clouds. Experiments on widespread datasets demonstrate the performance gains achieved by our method compared to existing leading techniques while using a fraction of the training data. Our code is publicly available at https://github.com/itailang/SCOOP.
updated: Fri Apr 14 2023 00:00:01 GMT+0000 (UTC)
published: Fri Nov 25 2022 10:52:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト