最近、ステレオマッチングベンチマークの記録は、エンドツーエンドの視差ネットワークによって絶えず破られています。ただし、これらのディープモデルのドメイン適応能力はかなり劣っています。このような問題に対処するために、ディープステレオマッチングネットワークのマルチレベル表現を調整することを目的としたAdaStereoと呼ばれる新しいドメイン適応パイプラインを紹介します。アダプティブステレオマッチングの以前の方法と比較して、AdaStereoは、より標準的で完全かつ効果的なドメインアダプテーションパイプラインを実現します。まず、入力画像レベルの位置合わせのための非敵対的なプログレッシブカラー転送アルゴリズムを提案します。次に、内部の機能レベルの調整のために、パラメータを使用しない効率的なコスト正規化レイヤーを設計します。最後に、出力スペースのギャップを狭めるために、関連性の高い補助タスクである自己教師ありオクルージョン認識再構成が提示されます。当社のAdaStereoモデルは、KITTI、Middlebury、ETH3D、DrivingStereoなどの複数のステレオベンチマークで最先端のクロスドメインパフォーマンスを実現し、ターゲットドメインのグラウンドトゥルースで微調整された視差ネットワークよりも優れています。
Recently, records on stereo matching benchmarks are constantly broken by end-to-end disparity networks. However, the domain adaptation ability of these deep models is quite poor. Addressing such problem, we present a novel domain-adaptive pipeline called AdaStereo that aims to align multi-level representations for deep stereo matching networks. Compared to previous methods for adaptive stereo matching, our AdaStereo realizes a more standard, complete and effective domain adaptation pipeline. Firstly, we propose a non-adversarial progressive color transfer algorithm for input image-level alignment. Secondly, we design an efficient parameter-free cost normalization layer for internal feature-level alignment. Lastly, a highly related auxiliary task, self-supervised occlusion-aware reconstruction is presented to narrow down the gaps in output space. Our AdaStereo models achieve state-of-the-art cross-domain performance on multiple stereo benchmarks, including KITTI, Middlebury, ETH3D, and DrivingStereo, even outperforming disparity networks finetuned with target-domain ground-truths.