arXiv reaDer
ITSA:ステレオマッチングネットワークにおける自動ショートカット回避とドメイン一般化への情報理論的アプローチ
ITSA: An Information-Theoretic Approach to Automatic Shortcut Avoidance and Domain Generalization in Stereo Matching Networks
合成データのみでトレーニングされた最先端のステレオマッチングネットワークは、より困難な実際のデータドメインに一般化できないことがよくあります。このホワイトペーパーでは、ネットワークがドメイン間で一般化するのを妨げる重要な要因を明らかにしようとしています。ショートカット学習のレンズを通してです。ステレオマッチングネットワークでの特徴表現の学習は、合成データアーティファクト(ショートカット属性)の影響を強く受けることを示しています。この問題を軽減するために、情報理論的ショートカット回避〜(ITSA)アプローチを提案し、ショートカット関連情報が機能表現にエンコードされるのを自動的に制限します。その結果、提案された方法は、入力変動に対する潜在特徴の感度を最小化することにより、ロバストでショートカット不変の特徴を学習します。直接入力感度最適化の法外な計算コストを回避するために、ロバスト性を実現するための効果的でありながら実行可能なアルゴリズムを提案します。この方法を使用すると、純粋に合成データでトレーニングされた最先端のステレオマッチングネットワークが、困難でこれまでに見られなかった実際のデータシナリオに効果的に一般化できることを示します。重要なことに、提案された方法は、合成トレーニングされたネットワークの堅牢性を強化し、ドメイン外のステレオデータセットに挑戦するために(実際のデータで)微調整された対応するネットワークよりも優れたパフォーマンスを発揮します。
State-of-the-art stereo matching networks trained only on synthetic data often fail to generalize to more challenging real data domains. In this paper, we attempt to unfold an important factor that hinders the networks from generalizing across domains: through the lens of shortcut learning. We demonstrate that the learning of feature representations in stereo matching networks is heavily influenced by synthetic data artefacts (shortcut attributes). To mitigate this issue, we propose an Information-Theoretic Shortcut Avoidance~(ITSA) approach to automatically restrict shortcut-related information from being encoded into the feature representations. As a result, our proposed method learns robust and shortcut-invariant features by minimizing the sensitivity of latent features to input variations. To avoid the prohibitive computational cost of direct input sensitivity optimization, we propose an effective yet feasible algorithm to achieve robustness. We show that using this method, state-of-the-art stereo matching networks that are trained purely on synthetic data can effectively generalize to challenging and previously unseen real data scenarios. Importantly, the proposed method enhances the robustness of the synthetic trained networks to the point that they outperform their fine-tuned counterparts (on real data) for challenging out-of-domain stereo datasets.
updated: Thu Jan 06 2022 22:03:50 GMT+0000 (UTC)
published: Thu Jan 06 2022 22:03:50 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト