arXiv reaDer
ビジョン用の FFT ベースの動的トークン ミキサー
FFT-based Dynamic Token Mixer for Vision
マルチヘッド自己注意 (MHSA) を搭載したモデルは、コンピューター ビジョンで顕著なパフォーマンスを達成しています。それらの計算の複雑さは、入力特徴マップのピクセルの二次数に比例するため、特に高解像度の画像を扱う場合は処理が遅くなります。この問題を回避するために、新しいタイプのトークン ミキサーが MHSA に代わるものとして提案されています。FFT ベースのトークン ミキサーは、グローバルな操作では MHSA に似ていますが、計算の複雑さがより低くなっています。ただし、その魅力的な特性にもかかわらず、FFT ベースのトークン ミキサーは、急速に進化する MetaFormer アーキテクチャとの互換性に関して、十分に検討されていません。ここでは、動的フィルターと呼ばれる新しいトークン ミキサーと、上記のギャップを埋めるために動的フィルターを使用する画像認識モデルである DFFormer および CDFFormer を提案します。 CDFFormer は、畳み込みと MHSA を使用したハイブリッド アーキテクチャに近い 85.0% のトップ 1 精度を達成しました。オブジェクト検出やセマンティック セグメンテーションを含むその他の広範な実験と分析は、最先端のアーキテクチャと競合できることを示しています。高解像度の画像認識を処理するときのスループットとメモリ効率は、畳み込みと MHSA であり、ConvFormer と大差なく、CAFormer よりもはるかに優れています。私たちの結果は、動的フィルターが、真剣に検討すべきトークン ミキサー オプションの 1 つであることを示しています。コードは https://github.com/okojoalg/dfformer で入手できます。
Multi-head-self-attention (MHSA)-equipped models have achieved notable performance in computer vision. Their computational complexity is proportional to quadratic numbers of pixels in input feature maps, resulting in slow processing, especially when dealing with high-resolution images. New types of token-mixer are proposed as an alternative to MHSA to circumvent this problem: an FFT-based token-mixer, similar to MHSA in global operation but with lower computational complexity. However, despite its attractive properties, the FFT-based token-mixer has not been carefully examined in terms of its compatibility with the rapidly evolving MetaFormer architecture. Here, we propose a novel token-mixer called dynamic filter and DFFormer and CDFFormer, image recognition models using dynamic filters to close the gaps above. CDFFormer achieved a Top-1 accuracy of 85.0%, close to the hybrid architecture with convolution and MHSA. Other wide-ranging experiments and analysis, including object detection and semantic segmentation, demonstrate that they are competitive with state-of-the-art architectures; Their throughput and memory efficiency when dealing with high-resolution image recognition is convolution and MHSA, not much different from ConvFormer, and far superior to CAFormer. Our results indicate that the dynamic filter is one of the token-mixer options that should be seriously considered. The code is available at https://github.com/okojoalg/dfformer
updated: Tue Mar 07 2023 14:38:28 GMT+0000 (UTC)
published: Tue Mar 07 2023 14:38:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト