arXiv reaDer
Restormer:高解像度の画像復元のための効率的なトランスフォーマー
Restormer: Efficient Transformer for High-Resolution Image Restoration
畳み込みニューラルネットワーク(CNN)は、大規模データから一般化可能な画像の事前学習をうまく行うため、これらのモデルは画像の復元や関連タスクに広く適用されています。最近、別のクラスのニューラルアーキテクチャであるTransformersが、自然言語と高レベルの視覚タスクで大幅なパフォーマンスの向上を示しました。 TransformerモデルはCNNの欠点(つまり、受容野の制限と入力コンテンツへの不適応)を軽減しますが、計算の複雑さは空間解像度に比例して増大するため、高解像度画像を含むほとんどの画像復元タスクに適用することは不可能です。この作業では、ビルディングブロック(マルチヘッドアテンションとフィードフォワードネットワーク)でいくつかの重要な設計を行い、大きな画像にも適用可能でありながら、長距離のピクセル相互作用をキャプチャできるようにすることで、効率的なTransformerモデルを提案します。 Restoration Transformer(Restormer)という名前のモデルは、画像のノイズ除去、単一画像のモーションブレ除去、焦点ぼけ除去(単一画像およびデュアルピクセルデータ)、画像など、いくつかの画像修復タスクで最先端の結果を実現します。ノイズ除去(ガウスグレースケール/カラーノイズ除去、および実際の画像のノイズ除去)。ソースコードと事前トレーニング済みモデルは、https://github.com/swz30/Restormerで入手できます。
Since convolutional neural networks (CNNs) perform well at learning generalizable image priors from large-scale data, these models have been extensively applied to image restoration and related tasks. Recently, another class of neural architectures, Transformers, have shown significant performance gains on natural language and high-level vision tasks. While the Transformer model mitigates the shortcomings of CNNs (i.e., limited receptive field and inadaptability to input content), its computational complexity grows quadratically with the spatial resolution, therefore making it infeasible to apply to most image restoration tasks involving high-resolution images. In this work, we propose an efficient Transformer model by making several key designs in the building blocks (multi-head attention and feed-forward network) such that it can capture long-range pixel interactions, while still remaining applicable to large images. Our model, named Restoration Transformer (Restormer), achieves state-of-the-art results on several image restoration tasks, including image deraining, single-image motion deblurring, defocus deblurring (single-image and dual-pixel data), and image denoising (Gaussian grayscale/color denoising, and real image denoising). The source code and pre-trained models are available at https://github.com/swz30/Restormer.
updated: Fri Mar 11 2022 13:22:52 GMT+0000 (UTC)
published: Thu Nov 18 2021 18:59:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト