このホワイト ペーパーでは、Xformer という名前のハイブリッド X 型ビジョン トランスフォーマーを紹介します。これは、特に画像のノイズ除去タスクを実行します。さまざまな範囲のトークンのグローバルな表現を強化することを検討しています。詳しくは、2種類のTransformerブロックを採用。空間的な Transformer ブロックは、空間次元によって定義されたトークン全体で、きめの細かいローカル パッチの相互作用を実行します。チャネル単位の Transformer ブロックは、チャネル ディメンションによって定義されたトークン全体でグローバル コンテキストの直接的な対話を実行します。並行ネットワーク構造に基づいて、これら 2 つの相互作用の方法を実行する 2 つのブランチを設計します。各ブランチ内で、マルチスケール機能をキャプチャするためにエンコーダー/デコーダー アーキテクチャを採用しています。さらに、強化された情報の融合を提供しながら、これら2つのブランチから学習した表現を結合する双方向接続ユニット(BCU)を提案します。共同設計により、当社の Xformer は、空間次元とチャネル次元の両方でグローバル情報モデリングを実行できるようになります。広範な実験により、同等のモデルの複雑さの下で、Xformer が合成および実世界の画像ノイズ除去タスクで最先端のパフォーマンスを達成することが示されています。
In this paper, we present a hybrid X-shaped vision Transformer, named Xformer, which performs notably on image denoising tasks. We explore strengthening the global representation of tokens from different scopes. In detail, we adopt two types of Transformer blocks. The spatial-wise Transformer block performs fine-grained local patches interactions across tokens defined by spatial dimension. The channel-wise Transformer block performs direct global context interactions across tokens defined by channel dimension. Based on the concurrent network structure, we design two branches to conduct these two interaction fashions. Within each branch, we employ an encoder-decoder architecture to capture multi-scale features. Besides, we propose the Bidirectional Connection Unit (BCU) to couple the learned representations from these two branches while providing enhanced information fusion. The joint designs make our Xformer powerful to conduct global information modeling in both spatial and channel dimensions. Extensive experiments show that Xformer, under the comparable model complexity, achieves state-of-the-art performance on the synthetic and real-world image denoising tasks.