ステレオマッチングにおける深層学習の目覚ましい進歩にもかかわらず、リアルタイムモデルと実際のアプリケーションに適した低速の最先端モデルとの間には精度のギャップがあります。このホワイトペーパーでは、ステレオマッチングネットワークを採用して、同等の精度を維持しながら高速、効率的、スケーラブルにすることで、このギャップを埋めるための反復マルチスケール粗微調整(iCFR)フレームワークを紹介します。マッチングの計算コストを削減するために、マルチスケールのワープフィーチャを使用して視差残差を推定し、コストボリューム内の視差検索範囲を最小制限にプッシュします。最後に、リファインメントネットワークを適用して、マルチスケールアプローチに固有の精度の低下を回復します。最先端のGANetおよびAANetのマッチングネットワークを採用することにより、iCFRフレームワークをテストします。その結果、GANetdeepと比較して推論時間が49倍速くなり、メモリ消費量が4倍少なくなり、同等のエラーが発生します。 FRSNetと呼ばれる当社の最高のパフォーマンスのネットワークは、GTX 1080Tiで6Kの入力解像度までスケーラブルであり、推論時間は1秒未満であり、AANet +と同等の精度です。これは、すべてのリアルタイムステレオ方式よりも優れており、KITTIベンチマークで競争力のある精度を実現します。
Despite the remarkable progress of deep learning in stereo matching, there exists a gap in accuracy between real-time models and slower state-of-the-art models which are suitable for practical applications. This paper presents an iterative multi-scale coarse-to-fine refinement (iCFR) framework to bridge this gap by allowing it to adopt any stereo matching network to make it fast, more efficient and scalable while keeping comparable accuracy. To reduce the computational cost of matching, we use multi-scale warped features to estimate disparity residuals and push the disparity search range in the cost volume to a minimum limit. Finally, we apply a refinement network to recover the loss of precision which is inherent in multi-scale approaches. We test our iCFR framework by adopting the matching networks from state-of-the art GANet and AANet. The result is 49× faster inference time compared to GANetdeep and 4× less memory consumption, with comparable error. Our best performing network, which we call FRSNet is scalable even up to an input resolution of 6K on a GTX 1080Ti, with inference time still below one second and comparable accuracy to AANet+. It out-performs all real-time stereo methods and achieves competitive accuracy on the KITTI benchmark.