TemporalStereo は、非常に効率的で、過去のジオメトリとコンテキスト情報を効果的に利用してマッチングの精度を高めることができる、粗いから細かいまでのステレオ マッチング ネットワークです。私たちのネットワークはまばらなコストボリュームを活用しており、単一のステレオペアが与えられた場合に効果的であることが証明されています。ただし、TemporalStereo は、ステレオ シーケンス全体で時空間情報を使用する特有の機能により、後者の場合でも高い効率を享受しながら、オクルージョンや反射領域などの問題を軽減できます。特に、ステレオビデオで一度トレーニングされた私たちのモデルは、シングルペアモードと時間モードの両方でシームレスに実行できます。実験では、カメラの動きに依存するネットワークがビデオ上で実行されているときの動的なオブジェクトに対しても堅牢であることが示されています。私たちは、合成 (SceneFlow、TartanAir) および実際のデータセット (KITTI 2012、KITTI 2015) の広範な実験を通じて TemporalStereo を検証します。私たちのモデルは、これらのデータセットのいずれでも最先端のパフォーマンスを実現します。コードは https://github.com/youmi-zym/TemporalStereo.git で入手できます。
We present TemporalStereo, a coarse-to-fine stereo matching network that is highly efficient, and able to effectively exploit the past geometry and context information to boost matching accuracy. Our network leverages sparse cost volume and proves to be effective when a single stereo pair is given. However, its peculiar ability to use spatio-temporal information across stereo sequences allows TemporalStereo to alleviate problems such as occlusions and reflective regions while enjoying high efficiency also in this latter case. Notably, our model -- trained once with stereo videos -- can run in both single-pair and temporal modes seamlessly. Experiments show that our network relying on camera motion is robust even to dynamic objects when running on videos. We validate TemporalStereo through extensive experiments on synthetic (SceneFlow, TartanAir) and real (KITTI 2012, KITTI 2015) datasets. Our model achieves state-of-the-art performance on any of these datasets. Code is available at https://github.com/youmi-zym/TemporalStereo.git.