arXiv reaDer
ZeroFlow: 蒸留による高速ゼロラベルシーンフロー
ZeroFlow: Fast Zero Label Scene Flow via Distillation
シーン フロー推定は、時間的に連続する点群間の 3D モーション フィールドを記述するタスクです。最先端の手法では、強力な事前分布とテスト時間の最適化手法が使用されていますが、大規模な点群の場合は数十秒程度の時間がかかるため、オープンワールドなどのリアルタイム アプリケーションのコンピュータ ビジョン プリミティブとしては使用できません。物体の検出。フィードフォワード手法はかなり高速で、大規模な点群の場合は数十ミリ秒から数百ミリ秒程度で実行されますが、高価な人間による監視が必要です。両方の制限に対処するために、ラベルフリーの最適化手法を使用してフィードフォワード モデルを監視する疑似ラベルを生成する単純な蒸留フレームワークである、蒸留によるシーン フローを提案します。このフレームワークのインスタンス化である ZeroFlow は、人的ラベルを使用せずに、最先端の方法に匹敵する品質で大規模な点群上にリアルタイムでシーン フロー推定を生成します。特に、テスト時に ZeroFlow は、大規模な点群に対するラベルフリーの最先端の最適化ベースの手法よりも 1000 倍以上高速であり、人間によるアノテーションのコストと比較して、ラベルなしのデータでのトレーニングの方が 1000 倍以上安価です。そのデータの。研究の再利用を促進するために、Argoverse 2 および Waymo Open データセットのコード、トレーニング済みモデルの重み、および高品質の疑似ラベルをリリースします。
Scene flow estimation is the task of describing the 3D motion field between temporally successive point clouds. State-of-the-art methods use strong priors and test-time optimization techniques, but require on the order of tens of seconds for large-scale point clouds, making them unusable as computer vision primitives for real-time applications such as open world object detection. Feed forward methods are considerably faster, running on the order of tens to hundreds of milliseconds for large-scale point clouds, but require expensive human supervision. To address both limitations, we propose Scene Flow via Distillation, a simple distillation framework that uses a label-free optimization method to produce pseudo-labels to supervise a feed forward model. Our instantiation of this framework, ZeroFlow, produces scene flow estimates in real-time on large-scale point clouds at quality competitive with state-of-the-art methods while using zero human labels. Notably, at test-time ZeroFlow is over 1000× faster than label-free state-of-the-art optimization-based methods on large-scale point clouds and over 1000× cheaper to train on unlabeled data compared to the cost of human annotation of that data. To facilitate research reuse, we release our code, trained model weights, and high quality pseudo-labels for the Argoverse 2 and Waymo Open datasets.
updated: Wed Jul 05 2023 23:03:33 GMT+0000 (UTC)
published: Wed May 17 2023 17:56:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト