arXiv reaDer
Impact of Aliasing on Generalization in Deep Convolutional Networks
ディープ畳み込みネットワークの一般化に対するエイリアシングの影響を調査し、広く使用されているアーキテクチャの構造上の制限により、データ拡張スキームだけではエイリアシングを防ぐことができないことを示しています。周波数分析理論から洞察を得て、ResNetおよびEfficientNetアーキテクチャを詳しく調べ、主要コンポーネントのそれぞれにおけるエイリアシングと情報損失の間のトレードオフを確認します。特にネットワークがエイリアシングを学習する能力が不足している場合に、重要な場所にトレーニング不可能なローパスフィルターを挿入することにより、エイリアシングを軽減する方法を示します。これらの単純なアーキテクチャの変更により、iidの一般化が大幅に改善され、ImageNet-C [11]での自然な破損の下での画像分類や、Meta-Dataset [26]での数回の学習など、配布外の条件がさらに改善されます。最先端の結果は、追加のトレーニング可能なパラメーターを導入することなく、オープンソースコードベースのデフォルトのハイパーパラメーターを使用することなく、両方のデータセットで達成されます。
We investigate the impact of aliasing on generalization in Deep Convolutional Networks and show that data augmentation schemes alone are unable to prevent it due to structural limitations in widely used architectures. Drawing insights from frequency analysis theory, we take a closer look at ResNet and EfficientNet architectures and review the trade-off between aliasing and information loss in each of their major components. We show how to mitigate aliasing by inserting non-trainable low-pass filters at key locations, particularly where networks lack the capacity to learn them. These simple architectural changes lead to substantial improvements in generalization on i.i.d. and even more on out-of-distribution conditions, such as image classification under natural corruptions on ImageNet-C [11] and few-shot learning on Meta-Dataset [26]. State-of-the art results are achieved on both datasets without introducing additional trainable parameters and using the default hyper-parameters of open source codebases.
updated: Sat Aug 07 2021 17:12:03 GMT+0000 (UTC)
published: Sat Aug 07 2021 17:12:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト