arXiv reaDer
効率的な注意の公正な比較
Fair Comparison between Efficient Attentions
トランスフォーマーはさまざまな分野で使用されており、コンピュータービジョンの標準ツールになりつつあります。ただし、トランスフォーマーのコアコンポーネントである自己注意には、2次の複雑さの問題があり、高密度の予測を必要とするさまざまなビジョンタスクでのトランスフォーマーの使用が制限されます。この問題を解決することを目的とした多くの研究が提案されていると報告されています。ただし、モデル構成、トレーニングスキーム、および新しい方法が異なるため、同じスケールを使用したこれらの方法の比較研究は報告されていません。私たちの論文では、注意操作のみを変更し、どちらの効率的な注意が優れているかを調べることにより、ImageNet1K分類タスクでこれらの効率的な注意モデルを検証します。
Transformers have been successfully used in various fields and are becoming the standard tools in computer vision. However, self-attention, a core component of transformers, has a quadratic complexity problem, which limits the use of transformers in various vision tasks that require dense prediction. Many studies aiming at solving this problem have been reported proposed. However, no comparative study of these methods using the same scale has been reported due to different model configurations, training schemes, and new methods. In our paper, we validate these efficient attention models on the ImageNet1K classification task by changing only the attention operation and examining which efficient attention is better.
updated: Wed Jun 01 2022 06:00:13 GMT+0000 (UTC)
published: Wed Jun 01 2022 06:00:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト