arXiv reaDer
Uformer: 画像復元用の一般的な U 字型トランスフォーマー
Uformer: A General U-Shaped Transformer for Image Restoration
このペーパーでは、効果的で効率的なトランスフォーマーベースのアーキテクチャである Uformer を紹介します。このアーキテクチャーでは、画像復元用の Transformer ブロックを使用して階層型エンコーダーデコーダーネットワークを構築します。 Uformer には、このタスクに適した 2 つのコア デザインがあります。最初の重要な要素は、ローカルで強化されたウィンドウ Transformer ブロックです。ここでは、重複しないウィンドウ ベースの自己注意を使用して計算要件を減らし、フィードフォワード ネットワークで深さ方向の畳み込みを使用して、キャプチャの可能性をさらに向上させます。ローカルコンテキスト。 2 番目の重要な要素は、エンコーダーからデコーダーに情報を効果的に配信する 3 つのスキップ接続スキームを検討することです。これらの 2 つの設計により、Uformer は、画像の復元に役立つ依存関係をキャプチャする高い機能を備えています。いくつかの画像復元タスクに関する広範な実験により、画像のノイズ除去、排出、ブレ除去、復元など、Uformer の優位性が実証されています。私たちの仕事が、低レベルのビジョン タスクのための Transformer ベースのアーキテクチャを探索するためのさらなる研究を促進することを期待しています。コードとモデルは で入手できます。
In this paper, we present Uformer, an effective and efficient Transformer-based architecture, in which we build a hierarchical encoder-decoder network using the Transformer block for image restoration. Uformer has two core designs to make it suitable for this task. The first key element is a local-enhanced window Transformer block, where we use non-overlapping window-based self-attention to reduce the computational requirement and employ the depth-wise convolution in the feed-forward network to further improve its potential for capturing local context. The second key element is that we explore three skip-connection schemes to effectively deliver information from the encoder to the decoder. Powered by these two designs, Uformer enjoys a high capability for capturing useful dependencies for image restoration. Extensive experiments on several image restoration tasks demonstrate the superiority of Uformer, including image denoising, deraining, deblurring and demoireing. We expect that our work will encourage further research to explore Transformer-based architectures for low-level vision tasks. The code and models will be available at
updated: Sun Jun 06 2021 12:33:22 GMT+0000 (UTC)
published: Sun Jun 06 2021 12:33:22 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト