暗い、テクスチャのない、薄い、反射性、鏡面反射の表面やオブジェクトなど、人間の環境に最適化された高密度で正確な点群を2560x2048の解像度で、384の視差で、30ミリ秒で生成するパッシブステレオ深度システムを紹介します。このシステムは、学習したステレオマッチングと設計されたフィルタリングを組み合わせたアルゴリズム、トレーニングとデータミキシングの方法論、およびセンサーハードウェア設計で構成されています。私たちのアーキテクチャは、ミドルベリーとフライングシングスのステレオベンチマークで同様に機能するアプローチよりも15倍高速です。このモデルのトレーニングを効果的に監視するために、既製の深度センサーを使用してラベル付けされた実際のデータと、レンダリングされ、シミュレートされたさまざまなラベル付きデータセットを組み合わせます。深度マップと点群の形で多数の定性的結果を提示し、システムのメトリック精度を検証する実験と、挑戦的なオブジェクトやシーンでの他のセンサーとの比較によって、システムの有効性を示します。また、MiddleburyおよびFlyingThingsデータセットを使用して、最先端の学習モデルと比較したアルゴリズムの競争力も示します。
We present a passive stereo depth system that produces dense and accurate point clouds optimized for human environments, including dark, textureless, thin, reflective and specular surfaces and objects, at 2560x2048 resolution, with 384 disparities, in 30 ms. The system consists of an algorithm combining learned stereo matching with engineered filtering, a training and data-mixing methodology, and a sensor hardware design. Our architecture is 15x faster than approaches that perform similarly on the Middlebury and Flying Things Stereo Benchmarks. To effectively supervise the training of this model, we combine real data labelled using off-the-shelf depth sensors, as well as a number of different rendered, simulated labeled datasets. We demonstrate the efficacy of our system by presenting a large number of qualitative results in the form of depth maps and point-clouds, experiments validating the metric accuracy of our system and comparisons to other sensors on challenging objects and scenes. We also show the competitiveness of our algorithm compared to state-of-the-art learned models using the Middlebury and FlyingThings datasets.