学習ベースのステレオマッチングおよび深度推定ネットワークは、現在、公開ベンチマークで優れており、印象的な結果が得られています。ただし、最先端のネットワークでは、合成画像からより困難な実際のデータドメインへの一般化に失敗することがよくあります。このホワイトペーパーは、ドメインの堅牢性を実現するための隠れた秘密を明らかにする試みであり、特に、合成画像学習が実際のデータパフォーマンスに与える影響を分析することにより、ステレオマッチングネットワークの一般化の成功の重要な要素を発見します。ステレオマッチングネットワークによる合成ドメインの特徴の学習が、合成データに提示された2つの「ショートカット」によって大きく影響されることを示す証拠を提供します。(1)合成ステレオの一致するピクセル間の同一のローカル統計(RGBカラー特徴)画像および(2)ゲームエンジンでシミュレートされた3Dオブジェクトの合成テクスチャのリアリズムの欠如。このようなショートカットを削除することで、ネットワークが合成データのみでトレーニングされているにもかかわらず、最先端のステレオマッチングフレームワークでドメインの堅牢性を実現し、複数の現実的なデータセットで優れたパフォーマンスを実現できることを示します。私たちの実験結果は、合成データからショートカットを排除することが、合成データドメインと実際のデータドメインの間でドメイン不変の一般化を達成するための鍵であるという事実を示しています。
Learning-based stereo matching and depth estimation networks currently excel on public benchmarks with impressive results. However, state-of-the-art networks often fail to generalize from synthetic imagery to more challenging real data domains. This paper is an attempt to uncover hidden secrets of achieving domain robustness and in particular, discovering the important ingredients of generalization success of stereo matching networks by analyzing the effect of synthetic image learning on real data performance. We provide evidence that demonstrates that learning of features in the synthetic domain by a stereo matching network is heavily influenced by two "shortcuts" presented in the synthetic data: (1) identical local statistics (RGB colour features) between matching pixels in the synthetic stereo images and (2) lack of realism in synthetic textures on 3D objects simulated in game engines. We will show that by removing such shortcuts, we can achieve domain robustness in the state-of-the-art stereo matching frameworks and produce a remarkable performance on multiple realistic datasets, despite the fact that the networks were trained on synthetic data, only. Our experimental results point to the fact that eliminating shortcuts from the synthetic data is key to achieve domain-invariant generalization between synthetic and real data domains.