画像合成と画像認識の両方で、軽量でありながら表現力のある深いネットワークを学習することは、依然として困難な問題です。 Transformer モデルのマルチヘッド自己注意 (MHSA) を非常に強力にするのはデータ特異性であるという最近の観察に着想を得て、このペーパーでは、広く採用されている軽量の Squeeze-Excitation (SE) モジュールを拡張することを提案します。 SEの効率と畳み込みの帰納的な基礎を維持しながら、MHSAの畳み込み代替手段として、そのデータの特異性を強化するために空間適応性があります。それぞれ画像合成と画像認識のための空間適応スクイーズ励起 (SASE) モジュールの 2 つの設計を提示します。画像合成タスクの場合、提案された SASE は、ローショット学習タスクとワンショット学習タスクの両方でテストされます。従来技術よりも優れた性能を発揮します。画像認識タスクの場合、提案された SASE は ResNets の畳み込みレイヤーのドロップイン代替として使用され、通常の ResNets よりもはるかに優れた精度を達成し、 ImageNet-1000 データセット、モデルが大幅に小さい。
Learning light-weight yet expressive deep networks in both image synthesis and image recognition remains a challenging problem. Inspired by a more recent observation that it is the data-specificity that makes the multi-head self-attention (MHSA) in the Transformer model so powerful, this paper proposes to extend the widely adopted light-weight Squeeze-Excitation (SE) module to be spatially-adaptive to reinforce its data specificity, as a convolutional alternative of the MHSA, while retaining the efficiency of SE and the inductive basis of convolution. It presents two designs of spatially-adaptive squeeze-excitation (SASE) modules for image synthesis and image recognition respectively. For image synthesis tasks, the proposed SASE is tested in both low-shot and one-shot learning tasks. It shows better performance than prior arts. For image recognition tasks, the proposed SASE is used as a drop-in replacement for convolution layers in ResNets and achieves much better accuracy than the vanilla ResNets, and slightly better than the MHSA counterparts such as the Swin-Transformer and Pyramid-Transformer in the ImageNet-1000 dataset, with significantly smaller models.