ステレオマッチングは最近、ディープニューラルネットワーク(DNN)を使用して目覚ましい進歩を遂げました。しかし、それらはどれほど堅牢ですか? DNNは、パフォーマンスの壊滅的な低下を伴う敵対的な脆弱性に悩まされることがよくあることはよく知られていますが、ステレオマッチングでは状況はさらに悪化します。このホワイトペーパーでは、最初に、ある種の弱いホワイトボックス攻撃が最先端の方法を圧倒する可能性があることを示しています。攻撃は、ステレオマッチングで提案されたステレオ制約付き投影勾配降下(PGD)法によって学習されます。この観察は、DNNベースのステレオマッチングの展開に深刻な懸念を引き起こします。敵対的な脆弱性と並行して、DNNベースのステレオマッチングは通常、いわゆるシミュレーションから現実へのパイプラインの下でトレーニングされるため、ドメインの一般化可能性は重要な問題です。この論文は、マッチングのためにそれを完全に削除することによって、敵対的にロバストでドメイン一般化可能なステレオマッチングに向けて学習可能なDNNベースの機能バックボーンを再考することを提案します。実験では、提案された方法がSceneFlowデータセットとKITTI2015ベンチマークでテストされ、有望な結果が得られました。生の入力ステレオ画像の古典的なマルチスケール国勢調査変換(つまり、ローカルバイナリパターン)を使用してマッチングコストボリュームを計算し、続いてマッチング問題を解決する積み重ねられた砂時計ヘッドサブネットワークを使用します。最先端の方法に匹敵する精度性能を維持しながら、敵対者の堅牢性を大幅に向上させます。また、微調整を使用しない場合、シミュレーション(SceneFlow)から実際の(KITTI)データセットへの一般化可能性が向上します。
Stereo matching has recently witnessed remarkable progress using Deep Neural Networks (DNNs). But, how robust are they? Although it has been well-known that DNNs often suffer from adversarial vulnerability with a catastrophic drop in performance, the situation is even worse in stereo matching. This paper first shows that a type of weak white-box attacks can overwhelm state-of-the-art methods. The attack is learned by a proposed stereo-constrained projected gradient descent (PGD) method in stereo matching. This observation raises serious concerns for the deployment of DNN-based stereo matching. Parallel to the adversarial vulnerability, DNN-based stereo matching is typically trained under the so-called simulation to reality pipeline, and thus domain generalizability is an important problem. This paper proposes to rethink the learnable DNN-based feature backbone towards adversarially-robust and domain generalizable stereo matching by completely removing it for matching. In experiments, the proposed method is tested in the SceneFlow dataset and the KITTI2015 benchmark, with promising results. We compute the matching cost volume using the classic multi-scale census transform (i.e., local binary pattern) of the raw input stereo images, followed by a stacked Hourglass head sub-network solving the matching problem. It significantly improves the adversarial robustness, while retaining accuracy performance comparable to state-of-the-art methods. It also shows better generalizability from simulation (SceneFlow) to real (KITTI) datasets when no fine-tuning is used.