arXiv reaDer
UPANets:ユニバーサルピクセルアテンションネットワークから学ぶ
UPANets: Learning from the Universal Pixel Attention Networks
画像分類の中で、スキップおよび密接続ベースのネットワークがほとんどのリーダーボードを支配してきました。最近、自然言語処理におけるマルチヘッドアテンションの開発の成功から、今がトランスフォーマーのようなモデルまたは注意のあるハイブリッドCNNのいずれかを使用する時期であることが確実です。ただし、前者はトレーニングに多大なリソースを必要とし、後者はこの方向で完璧なバランスを保っています。この作業では、CNNにグローバル情報とローカル情報を処理させるために、チャネルごとの注意にハイブリッドスキップ高密度接続構造を備えたUPANetsを提案しました。また、極端な接続構造により、UPANetsはよりスムーズな損失ランドスケープで堅牢になります。実験では、UPANetsはCifar-10で96.47%、Cifar-100で80.29%、Tiny Imagenetで67.67%の精度で、最もよく知られていて広く使用されているSOTAを上回りました。最も重要なことは、これらのパフォーマンスはパラメーター効率が高く、1つの顧客ベースのGPUでのみトレーニングされていることです。 UPANetsの実装コードはhttps://github.com/hanktseng131415go/UPANetsで共有しています。
Among image classification, skip and densely-connection-based networks have dominated most leaderboards. Recently, from the successful development of multi-head attention in natural language processing, it is sure that now is a time of either using a Transformer-like model or hybrid CNNs with attention. However, the former need a tremendous resource to train, and the latter is in the perfect balance in this direction. In this work, to make CNNs handle global and local information, we proposed UPANets, which equips channel-wise attention with a hybrid skip-densely-connection structure. Also, the extreme-connection structure makes UPANets robust with a smoother loss landscape. In experiments, UPANets surpassed most well-known and widely-used SOTAs with an accuracy of 96.47% in Cifar-10, 80.29% in Cifar-100, and 67.67% in Tiny Imagenet. Most importantly, these performances have high parameters efficiency and only trained in one customer-based GPU. We share implementing code of UPANets in https://github.com/hanktseng131415go/UPANets.
updated: Mon Mar 22 2021 13:29:04 GMT+0000 (UTC)
published: Mon Mar 15 2021 18:27:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト