arXiv reaDer
Stripformer:高速画像ぼけ除去のためのStrip Transformer
Stripformer: Strip Transformer for Fast Image Deblurring
動的なシーンで撮影された画像には、不要なモーションブラーが含まれている可能性があり、これにより視覚品質が大幅に低下します。このようなぼけは、短距離および長距離の領域固有の平滑化アーティファクトを引き起こします。これらのアーティファクトは、方向性があり、不均一であることが多く、除去が困難です。コンピュータービジョンおよび画像処理タスクでのトランスフォーマーの現在の成功に触発されて、ストリップフォーマーを開発します。これは、ストリップ内およびストリップ間トークンを構築して、水平方向および垂直方向の画像特徴を再重み付けし、さまざまなぼやけたパターンをキャッチするトランスフォーマーベースのアーキテクチャです。オリエンテーション。インターレースのストリップ内およびストリップ間のアテンションレイヤーをスタックして、ブラーの大きさを明らかにします。 Stripformerは、さまざまな方向と大きさの領域固有のぼやけたパターンを検出するだけでなく、トークン効率とパラメーター効率の高いトランスフォーマーモデルでもあり、バニラトランスフォーマーよりもはるかに少ないメモリ使用量と計算コストを要求しますが、膨大なトレーニングデータに依存することなくより適切に機能します。 。実験結果は、Stripformerが動的なシーンのぼけ除去において最先端のモデルに対して有利に機能することを示しています。
Images taken in dynamic scenes may contain unwanted motion blur, which significantly degrades visual quality. Such blur causes short- and long-range region-specific smoothing artifacts that are often directional and non-uniform, which is difficult to be removed. Inspired by the current success of transformers on computer vision and image processing tasks, we develop, Stripformer, a transformer-based architecture that constructs intra- and inter-strip tokens to reweight image features in the horizontal and vertical directions to catch blurred patterns with different orientations. It stacks interlaced intra-strip and inter-strip attention layers to reveal blur magnitudes. In addition to detecting region-specific blurred patterns of various orientations and magnitudes, Stripformer is also a token-efficient and parameter-efficient transformer model, demanding much less memory usage and computation cost than the vanilla transformer but works better without relying on tremendous training data. Experimental results show that Stripformer performs favorably against state-of-the-art models in dynamic scene deblurring.
updated: Sun Apr 10 2022 08:01:00 GMT+0000 (UTC)
published: Sun Apr 10 2022 08:01:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト