特定のビジョントランスフォーマー(ViT)およびCNNアーキテクチャーは、ビジョンタスクで一般化されていますが、トレーニングやテストでさえも計算要件があるため、グリーン、エッジ、またはデスクトップコンピューティングで使用することは実際的ではありません。空間トークンミキシングにマルチスケール2D離散ウェーブレット変換(DWT)を使用する代替ニューラルアーキテクチャとしてWaveMixを紹介します。 ViTとは異なり、WaveMixは画像を展開したり、2次の複雑さを自覚する必要はありません。さらに、DWTは、畳み込みフィルタリングに加えて、画像の2D構造を利用して一般化を改善するために、別の誘導バイアスを導入します。 DWTのマルチスケールの性質により、CNNは部分的な空間ミキシングをプーリングに依存しているため、CNNと比較してより深いアーキテクチャの要件も軽減されます。 WaveMixモデルは、複数のデータセットでViT、CNN、トークンミキサーと競合する一般化を示していますが、GPU RAM(トレーニングとテスト)、計算数、およびストレージの数は少なくて済みます。 WaveMixは、EMNISTByclassおよびEMNISTBalancedデータセットで最先端(SOTA)の結果を達成しました。
Although certain vision transformer (ViT) and CNN architectures generalize well on vision tasks, it is often impractical to use them on green, edge, or desktop computing due to their computational requirements for training and even testing. We present WaveMix as an alternative neural architecture that uses a multi-scale 2D discrete wavelet transform (DWT) for spatial token mixing. Unlike ViTs, WaveMix neither unrolls the image nor requires self-attention of quadratic complexity. Additionally, DWT introduces another inductive bias -- besides convolutional filtering -- to utilize the 2D structure of an image to improve generalization. The multi-scale nature of the DWT also reduces the requirement for a deeper architecture compared to the CNNs, as the latter relies on pooling for partial spatial mixing. WaveMix models show generalization that is competitive with ViTs, CNNs, and token mixers on several datasets while requiring lower GPU RAM (training and testing), number of computations, and storage. WaveMix have achieved State-of-the-art (SOTA) results in EMNIST Byclass and EMNIST Balanced datasets.