現代の深層学習の不可欠な要素として、注意メカニズム、特に自己注意は、グローバルな相関関係の発見において重要な役割を果たします。しかし、グローバルコンテキストをモデル化する場合、手作りの注意はかけがえのないものですか?私たちの興味深い発見は、長距離依存関係をエンコードするためのパフォーマンスと計算コストに関して、自己注意は20年前に開発された行列分解(MD)モデルよりも優れていないということです。グローバルコンテキストの問題を低ランクの回復問題としてモデル化し、その最適化アルゴリズムがグローバル情報ブロックの設計に役立つことを示します。次に、このペーパーでは、MDを解くための最適化アルゴリズムを使用して、入力表現を部分行列に因数分解し、低ランクの埋め込みを再構築する一連のハンバーガーを提案します。異なるMDを持つハンバーガーは、MDを介して逆伝播された勾配に注意深く対処する場合、人気のあるグローバルコンテキストモジュールの自己注意に対して有利に機能します。包括的な実験は、セマンティックセグメンテーションや画像生成などのグローバルコンテキストを学習することが重要なビジョンタスクで実施され、自己注意とその変形に対する大幅な改善を示しています。
As an essential ingredient of modern deep learning, attention mechanism, especially self-attention, plays a vital role in the global correlation discovery. However, is hand-crafted attention irreplaceable when modeling the global context? Our intriguing finding is that self-attention is not better than the matrix decomposition (MD) model developed 20 years ago regarding the performance and computational cost for encoding the long-distance dependencies. We model the global context issue as a low-rank recovery problem and show that its optimization algorithms can help design global information blocks. This paper then proposes a series of Hamburgers, in which we employ the optimization algorithms for solving MDs to factorize the input representations into sub-matrices and reconstruct a low-rank embedding. Hamburgers with different MDs can perform favorably against the popular global context module self-attention when carefully coping with gradients back-propagated through MDs. Comprehensive experiments are conducted in the vision tasks where it is crucial to learn the global context, including semantic segmentation and image generation, demonstrating significant improvements over self-attention and its variants.