arXiv reaDer
EdgeFormer:ビジョントランスフォーマーから学ぶことによる軽量ConvNetの改善
EdgeFormer: Improving Light-weight ConvNets by Learning from Vision Transformers
最近、ビジョントランスフォーマーは、大規模な畳み込みベースのモデルを大幅に上回る印象的な結果を示し始めました。ただし、モバイルデバイスまたはリソースに制約のあるデバイスの小さなモデルの領域では、ConvNetには、パフォーマンスとモデルの複雑さの両方で独自の利点があります。ビジョントランスフォーマーのメリットをConvNetに融合することで、これらの利点をさらに強化する、純粋なConvNetベースのバックボーンモデルであるEdgeFormerを提案します。具体的には、位置埋め込みを使用したグローバル巡回畳み込み(GCC)を提案します。これは、ローカル畳み込みのように位置に敏感な機能を生成しながら、グローバル受容野を誇る軽量畳み込み演算です。 GCCとsqueeze-exictationopsを組み合わせて、モデルブロックのようなメタフォーマーを形成します。これには、トランスフォーマーのような注意メカニズムがあります。前述のブロックは、プラグアンドプレイ方式で使用して、ConvNetまたはトランスの関連ブロックを置き換えることができます。実験結果は、提案されたEdgeFormerが、一般的なビジョンタスクおよびデータセットで一般的な軽量ConvNetおよびビジョントランスベースモデルよりも優れたパフォーマンスを実現する一方で、パラメーターが少なく、推論速度が速いことを示しています。 ImageNet-1kでの分類では、EdgeFormerは約500万のパラメーターで78.6%のトップ1精度を達成し、11%のパラメーターと13%の計算コストを節約しますが、(ARMベースのRockchip RK3288で)0.2%高い精度と23%速い推論速度を実現します。 MobileViTを使用し、パラメータの0.5倍しか使用しませんが、DeITと比較して2.7%の精度が得られます。 MS-COCOオブジェクト検出およびPASCALVOCセグメンテーションタスクでは、EdgeFormerのパフォーマンスも向上しています。コードはhttps://github.com/hkzhang91/EdgeFormerで入手できます
Recently, vision transformers started to show impressive results which outperform large convolution based models significantly. However, in the area of small models for mobile or resource constrained devices, ConvNet still has its own advantages in both performance and model complexity. We propose EdgeFormer, a pure ConvNet based backbone model that further strengthens these advantages by fusing the merits of vision transformers into ConvNets. Specifically, we propose global circular convolution (GCC) with position embeddings, a light-weight convolution op which boasts a global receptive field while producing location sensitive features as in local convolutions. We combine the GCCs and squeeze-exictation ops to form a meta-former like model block, which further has the attention mechanism like transformers. The aforementioned block can be used in plug-and-play manner to replace relevant blocks in ConvNets or transformers. Experiment results show that the proposed EdgeFormer achieves better performance than popular light-weight ConvNets and vision transformer based models in common vision tasks and datasets, while having fewer parameters and faster inference speed. For classification on ImageNet-1k, EdgeFormer achieves 78.6% top-1 accuracy with about 5.0 million parameters, saving 11% parameters and 13% computational cost but gaining 0.2% higher accuracy and 23% faster inference speed (on ARM based Rockchip RK3288) compared with MobileViT, and uses only 0.5 times parameters but gaining 2.7% accuracy compared with DeIT. On MS-COCO object detection and PASCAL VOC segmentation tasks, EdgeFormer also shows better performance. Code is available at https://github.com/hkzhang91/EdgeFormer
updated: Sun Jul 10 2022 16:19:38 GMT+0000 (UTC)
published: Tue Mar 08 2022 09:25:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト