トランスフォーマーは、特にコンピューター ビジョンにおける畳み込みニューラル ネットワーク (CNN) の強力な代替手段として、ディープ ラーニングの主要なアーキテクチャの 1 つになっています。ただし、以前の研究における Transformer のトレーニングと推論は、特に高解像度の高密度予測タスクの場合、表現の長いシーケンスにわたる自己注意の二次複雑性のために、法外に高価になる可能性があります。この目的のために、畳み込み、完全に接続された (FC) 層、および自己注意が画像パッチ シーケンスを処理するためのほぼ同等の数式を持っているという事実に基づいて、新しい注意の少ない視覚変換 (LIT) を提示します。具体的には、純粋な多層パーセプトロン (MLP) を使用して初期段階で豊富なローカル パターンをエンコードし、自己注意モジュールを適用してより深い層でより長い依存関係をキャプチャする階層型トランスフォーマーを提案します。さらに、不均一な方法で情報パッチを適応的に融合する学習済みの変形可能なトークンマージモジュールをさらに提案します。提案された LIT は、画像分類、オブジェクト検出、インスタンス セグメンテーションなどの画像認識タスクで有望なパフォーマンスを実現し、多くのビジョン タスクの強力なバックボーンとして機能します。コードは https://github.com/MonashAI/LIT で入手できます。
Transformers have become one of the dominant architectures in deep learning, particularly as a powerful alternative to convolutional neural networks (CNNs) in computer vision. However, Transformer training and inference in previous works can be prohibitively expensive due to the quadratic complexity of self-attention over a long sequence of representations, especially for high-resolution dense prediction tasks. To this end, we present a novel Less attention vIsion Transformer (LIT), building upon the fact that convolutions, fully-connected (FC) layers, and self-attentions have almost equivalent mathematical expressions for processing image patch sequences. Specifically, we propose a hierarchical Transformer where we use pure multi-layer perceptrons (MLPs) to encode rich local patterns in the early stages while applying self-attention modules to capture longer dependencies in deeper layers. Moreover, we further propose a learned deformable token merging module to adaptively fuse informative patches in a non-uniform manner. The proposed LIT achieves promising performance on image recognition tasks, including image classification, object detection and instance segmentation, serving as a strong backbone for many vision tasks. Code is available at: https://github.com/MonashAI/LIT