多くの分野で人工ニューラルネットワーク(ANN)が大成功を収めているにもかかわらず、それらの計算の特性と、一般化や堅牢性などの主要なプロパティの起源は未解決の問題のままです。最近の文献は、優れた一般化特性を備えた堅牢なネットワークは、画像内の低周波数の処理に偏る傾向があることを示唆しています。周波数バイアス仮説をさらに調査するために、トレーニングされたネットワークのパフォーマンスを維持するために必要な基本的な入力周波数を強調する変調マスクを学習できるアルゴリズムを開発します。これは、入力周波数のこのような変調に関して損失に不変性を課すことによって実現されます。最初に、この方法を使用して、敵対的に訓練されたネットワークまたはデータが拡張されたネットワークの低周波選好仮説をテストします。私たちの結果は、敵対的に堅牢なネットワークが実際に低周波数バイアスを示すことを示唆していますが、このバイアスは周波数空間の方向にも依存していることがわかります。ただし、これは他のタイプのデータ拡張には必ずしも当てはまりません。私たちの結果はまた、問題の本質的な周波数が、そもそも一般化を達成するために効果的に使用される周波数であることを示しています。驚いたことに、これらの変調マスクを通して見た画像は認識できず、テクスチャのようなパターンに似ています。
Despite the enormous success of artificial neural networks (ANNs) in many disciplines, the characterization of their computations and the origin of key properties such as generalization and robustness remain open questions. Recent literature suggests that robust networks with good generalization properties tend to be biased towards processing low frequencies in images. To explore the frequency bias hypothesis further, we develop an algorithm that allows us to learn modulatory masks highlighting the essential input frequencies needed for preserving a trained network's performance. We achieve this by imposing invariance in the loss with respect to such modulations in the input frequencies. We first use our method to test the low-frequency preference hypothesis of adversarially trained or data-augmented networks. Our results suggest that adversarially robust networks indeed exhibit a low-frequency bias but we find this bias is also dependent on directions in frequency space. However, this is not necessarily true for other types of data augmentation. Our results also indicate that the essential frequencies in question are effectively the ones used to achieve generalization in the first place. Surprisingly, images seen through these modulatory masks are not recognizable and resemble texture-like patterns.