ディープニューラルネットワーク(DNN)の一般化機能を改善することは、それらの実際の使用にとって重要であり、これは長年の課題でした。いくつかの理論的研究は、DNNが学習プロセスで異なる周波数成分を優先することを明らかにし、これが学習された特徴のロバスト性に影響を与える可能性があることを示しました。この論文では、ドメイン一般化可能な機能を学習するためのディープ周波数フィルタリング(DFF)を提案します。これは、トレーニング中にドメイン間でさまざまな転送困難の周波数成分を明示的に変調する最初の試みです。これを実現するために、さまざまなレイヤーのフィーチャマップで高速フーリエ変換(FFT)を実行し、軽量モジュールを採用してFFT後の周波数表現からアテンションマスクを学習し、一般化に伝導性のないコンポーネントを抑制しながら、転送可能な周波数コンポーネントを強化します。さらに、概念化されたDFFを実装するために、さまざまなタイプの注意を経験的に比較します。広範な実験は、提案されたDFFの有効性を示し、プレーンベースラインにDFFを適用することは、クローズセット分類やオープンセット検索など、さまざまなドメイン一般化タスクの最先端の方法よりも優れていることを示しています。
Improving the generalization capability of Deep Neural Networks (DNNs) is critical for their practical uses, which has been a longstanding challenge. Some theoretical studies have revealed that DNNs have preferences to different frequency components in the learning process and indicated that this may affect the robustness of learned features. In this paper, we propose Deep Frequency Filtering (DFF) for learning domain-generalizable features, which is the first endeavour to explicitly modulate frequency components of different transfer difficulties across domains during training. To achieve this, we perform Fast Fourier Transform (FFT) on feature maps at different layers, then adopt a light-weight module to learn the attention masks from frequency representations after FFT to enhance transferable frequency components while suppressing the components not conductive to generalization. Further, we empirically compare different types of attention for implementing our conceptualized DFF. Extensive experiments demonstrate the effectiveness of the proposed DFF and show that applying DFF on a plain baseline outperforms the state-of-the-art methods on different domain generalization tasks, including close-set classification and open-set retrieval.