このホワイトペーパーでは、モバイルレベルでのビジョントランスフォーマーの構造を調査し、劇的なパフォーマンスの低下を発見しました。この現象の背後にある理由を分析し、パフォーマンスを向上させるために、新しい不規則パッチ埋め込みモジュールと適応パッチ融合モジュールを提案します。ビジョントランスフォーマーブロック(マルチヘッドアテンションとフィードフォワードネットワークで構成される)は、低レベルの機能よりも高レベルの情報を処理するのに適していると推測されます。不規則なパッチ埋め込みモジュールは、さまざまな受容野を持つ豊富な高レベルの情報を含むパッチを抽出します。変圧器ブロックは、これらの不規則なパッチから最も有用な情報を取得できます。次に、処理されたパッチは、アダプティブパッチマージモジュールを通過して、分類子の最終的な機能を取得します。提案された改善により、従来の均一ビジョントランス構造はモバイルレベルで最先端の結果を達成できます。モバイルレベルの設定でDeiTベースラインを9%以上改善し、SwinやCoaTなどの他のトランスフォーマーアーキテクチャを大幅に上回っています。
We study the vision transformer structure in the mobile level in this paper, and find a dramatic performance drop. We analyze the reason behind this phenomenon, and propose a novel irregular patch embedding module and adaptive patch fusion module to improve the performance. We conjecture that the vision transformer blocks (which consist of multi-head attention and feed-forward network) are more suitable to handle high-level information than low-level features. The irregular patch embedding module extracts patches that contain rich high-level information with different receptive fields. The transformer blocks can obtain the most useful information from these irregular patches. Then the processed patches pass the adaptive patch merging module to get the final features for the classifier. With our proposed improvements, the traditional uniform vision transformer structure can achieve state-of-the-art results in mobile level. We improve the DeiT baseline by more than 9% under the mobile-level settings and surpass other transformer architectures like Swin and CoaT by a large margin.