arXiv reaDer
Bottleneck Transformers for Visual Recognition
BoTNetは、画像の分類、オブジェクトの検出、インスタンスのセグメンテーションなど、複数のコンピュータービジョンタスクに対する自己注意を組み込んだ、概念的にシンプルでありながら強力なバックボーンアーキテクチャです。 ResNetの最後の3つのボトルネックブロックで空間畳み込みをグローバルな自己注意に置き換えるだけで、他の変更はありません。このアプローチは、インスタンスのセグメンテーションとオブジェクト検出のベースラインを大幅に改善すると同時に、パラメータを削減し、レイテンシのオーバーヘッドを最小限に抑えます。 BoTNetの設計を通じて、自己注意のあるResNetボトルネックブロックをTransformerブロックと見なす方法についても指摘します。 BoTNetは、ベルやホイッスルなしで、マスクR-CNNフレームワークを使用して、COCOインスタンスセグメンテーションベンチマークで44.4%のマスクAPと49.7%のボックスAPを達成します。 COCO検証セットで評価されたResNeStの以前の最良の公開された単一モデルおよび単一スケールの結果を上回っています。最後に、画像分類のためのBoTNet設計の単純な適応を示します。その結果、ImageNetベンチマークで84.7%のトップ1精度の強力なパフォーマンスを達成しながら、計算時間はで人気のあるEfficientNetモデルよりも最大1.64倍高速になります。 TPU-v3ハードウェア。私たちのシンプルで効果的なアプローチが、視覚の自己注意モデルにおける将来の研究の強力なベースラインとして役立つことを願っています
We present BoTNet, a conceptually simple yet powerful backbone architecture that incorporates self-attention for multiple computer vision tasks including image classification, object detection and instance segmentation. By just replacing the spatial convolutions with global self-attention in the final three bottleneck blocks of a ResNet and no other changes, our approach improves upon the baselines significantly on instance segmentation and object detection while also reducing the parameters, with minimal overhead in latency. Through the design of BoTNet, we also point out how ResNet bottleneck blocks with self-attention can be viewed as Transformer blocks. Without any bells and whistles, BoTNet achieves 44.4% Mask AP and 49.7% Box AP on the COCO Instance Segmentation benchmark using the Mask R-CNN framework; surpassing the previous best published single model and single scale results of ResNeSt evaluated on the COCO validation set. Finally, we present a simple adaptation of the BoTNet design for image classification, resulting in models that achieve a strong performance of 84.7% top-1 accuracy on the ImageNet benchmark while being up to 1.64x faster in compute time than the popular EfficientNet models on TPU-v3 hardware. We hope our simple and effective approach will serve as a strong baseline for future research in self-attention models for vision
updated: Mon Aug 02 2021 18:24:31 GMT+0000 (UTC)
published: Wed Jan 27 2021 18:55:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト