arXiv reaDer
ディープネットワークにおける空間的注意メカニズムの実証的研究
An Empirical Study of Spatial Attention Mechanisms in Deep Networks
注意メカニズムは、ディープニューラルネットワークでは一般的な構成要素となっているが、これらの要素から注意を計算するための異なる影響因子や方法が性能にどのように影響するかについては、これまでほとんど検討されていなかった。注意メカニズムの一般的な理解を深めるために、一般化された注意定式化の中の様々な空間的注意要素を、支配的なトランスフォーマー注意、および一般的な変形可能畳み込みと動的畳み込みモジュールを包含して除去する実証研究を行う。この研究は、様々なアプリケーションで実施され、ディープネットワークにおける空間的注意に関する重要な知見をもたらし、その中には従来の理解に反するものもある。例えば、トランスフォーマーの注意におけるクエリとキーコンテンツの比較は、自己注意には無視できるが、エンコーダとデコーダの注意には不可欠であることがわかった。変形可能な畳み込みとキーコンテンツのみの明瞭度を適切に組み合わせることで、自己注意における最高の精度と効率のトレードオフが達成される。我々の結果は、注意メカニズムの設計には多くの改善の余地があることを示唆している。
Attention mechanisms have become a popular component in deep neural networks, yet there has been little examination of how different influencing factors and methods for computing attention from these factors affect performance. Toward a better general understanding of attention mechanisms, we present an empirical study that ablates various spatial attention elements within a generalized attention formulation, encompassing the dominant Transformer attention as well as the prevalent deformable convolution and dynamic convolution modules. Conducted on a variety of applications, the study yields significant findings about spatial attention in deep networks, some of which run counter to conventional understanding. For example, we find that the query and key content comparison in Transformer attention is negligible for self-attention, but vital for encoder-decoder attention. A proper combination of deformable convolution with key content only saliency achieves the best accuracy-efficiency tradeoff in self-attention. Our results suggest that there exists much room for improvement in the design of attention mechanisms.
updated: Thu Apr 11 2019 17:58:37 GMT+0000 (UTC)
published: Thu Apr 11 2019 17:58:37 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト