最近、ステレオマッチングベンチマークの記録は、エンドツーエンドの視差ネットワークによって絶えず破られています。ただし、これらのディープモデルのドメイン適応能力はかなり制限されています。このような問題に対処するために、AdaStereoと呼ばれる新しいドメイン適応アプローチを提示します。これは、ディープステレオマッチングネットワークのマルチレベル表現を調整することを目的としています。以前の方法と比較して、AdaStereoは、より標準的で完全かつ効果的なドメイン適応パイプラインを実現します。まず、入力画像レベルの位置合わせのための非敵対的なプログレッシブカラー転送アルゴリズムを提案します。次に、内部機能レベルの調整のための効率的なパラメーターフリーのコスト正規化レイヤーを設計します。最後に、出力スペースのギャップを狭めるために、関連性の高い補助タスクである自己監視オクルージョン認識再構成が提示されます。集中的なアブレーション研究と内訳比較を実行して、提案された各モジュールの有効性を検証します。余分な推論のオーバーヘッドがなく、トレーニングの複雑さがわずかに増加するだけで、AdaStereoモデルは、KITTI、Middlebury、ETH3D、DrivingStereoなどの複数のベンチマークで最先端のクロスドメインパフォーマンスを実現し、一部の最先端のパフォーマンスを上回ります。 -ターゲットドメインのグラウンドトゥルースで微調整されたアートディスパリティネットワーク。さらに、2つの追加の評価指標に基づいて、ドメイン適応型ステレオマッチングパイプラインの優位性がより多くの観点からさらに明らかになります。最後に、私たちの方法がさまざまなドメイン適応設定に対して堅牢であり、迅速な適応アプリケーションシナリオと実際の展開に簡単に統合できることを示します。
Recently, records on stereo matching benchmarks are constantly broken by end-to-end disparity networks. However, the domain adaptation ability of these deep models is quite limited. Addressing such problem, we present a novel domain-adaptive approach called AdaStereo that aims to align multi-level representations for deep stereo matching networks. Compared to previous methods, our AdaStereo realizes a more standard, complete and effective domain adaptation pipeline. Firstly, we propose a non-adversarial progressive color transfer algorithm for input image-level alignment. Secondly, we design an efficient parameter-free cost normalization layer for internal feature-level alignment. Lastly, a highly related auxiliary task, self-supervised occlusion-aware reconstruction is presented to narrow the gaps in output space. We perform intensive ablation studies and break-down comparisons to validate the effectiveness of each proposed module. With no extra inference overhead and only a slight increase in training complexity, our AdaStereo models achieve state-of-the-art cross-domain performance on multiple benchmarks, including KITTI, Middlebury, ETH3D and DrivingStereo, even outperforming some state-of-the-art disparity networks finetuned with target-domain ground-truths. Moreover, based on two additional evaluation metrics, the superiority of our domain-adaptive stereo matching pipeline is further uncovered from more perspectives. Finally, we demonstrate that our method is robust to various domain adaptation settings, and can be easily integrated into quick adaptation application scenarios and real-world deployments.