ディープ ニューラル ネットワーク (DNN) の一般化能力を向上させることは、長年の課題であった実用化にとって重要です。いくつかの理論的研究は、DNN が学習プロセスでいくつかの周波数成分を優先することを明らかにし、これが学習された機能の堅牢性に影響を与える可能性があることを示しています。この論文では、ドメイン一般化可能な特徴を学習するための深層周波数フィルタリング (DFF) を提案します。これは、トレーニング中に潜在空間内のドメイン全体で異なる伝達困難の周波数成分を明示的に変調する最初の試みです。これを達成するために、異なるレイヤーの特徴マップに対して高速フーリエ変換 (FFT) を実行し、軽量モジュールを採用して FFT 後の周波数表現からアテンション マスクを学習し、一般化に寄与しないコンポーネントを抑制しながら転送可能なコンポーネントを強化します。さらに、DFF を実装するためにさまざまなタイプの注意設計を採用することの有効性を経験的に比較します。広範な実験により、提案された DFF の有効性が実証され、単純なベースラインに DFF を適用すると、クローズセット分類やオープンセット検索など、さまざまなドメイン一般化タスクで最先端の方法よりも優れていることが示されます。
Improving the generalization ability of Deep Neural Networks (DNNs) is critical for their practical uses, which has been a longstanding challenge. Some theoretical studies have uncovered that DNNs have preferences for some frequency components in the learning process and indicated that this may affect the robustness of learned features. In this paper, we propose Deep Frequency Filtering (DFF) for learning domain-generalizable features, which is the first endeavour to explicitly modulate the frequency components of different transfer difficulties across domains in the latent space during training. To achieve this, we perform Fast Fourier Transform (FFT) for the feature maps at different layers, then adopt a light-weight module to learn attention masks from the frequency representations after FFT to enhance transferable components while suppressing the components not conducive to generalization. Further, we empirically compare the effectiveness of adopting different types of attention designs for implementing DFF. Extensive experiments demonstrate the effectiveness of our proposed DFF and show that applying our DFF on a plain baseline outperforms the state-of-the-art methods on different domain generalization tasks, including close-set classification and open-set retrieval.