arXiv reaDer
SnowFormer: 単一画像除雪のためのスケール認識を備えたコンテキスト相互作用トランスフォーマー
SnowFormer: Context Interaction Transformer with Scale-awareness for Single Image Desnowing
さまざまで複雑な雪の劣化により、単一の画像除雪は困難な画像復元タスクです。先行技術はそれを理想的に処理することができないため、新しいトランスフォーマーである SnowFormer を提案します。これは、パッチ間でローカルとグローバルのコンテキストの相互作用を構築するための効率的なクロスアテンションを探索し、ローカルオペレーターまたはバニラトランスフォーマーを使用する既存の作品を凌駕します。以前の除雪方法や一般的な画像復元方法と比較して、SnowFormer にはいくつかの利点があります。まず、最近の画像復元 Vision Transformers のマルチヘッド セルフアテンションとは異なり、SnowFormer にはマルチヘッド クロスアテンション メカニズムが組み込まれており、スケール対応のスノー クエリとローカル パッチ埋め込みの間でローカルとグローバルのコンテキストの相互作用を実行します。第 2 に、SnowFormer の雪のクエリは、集計されたスケール対応機能からクエリ ジェネレーターによって生成されます。これは、潜在的なクリーン キューが豊富で、優れた復元結果につながります。第 3 に、SnowFormer は、6 つの合成データセットと現実世界のデータセットで、最先端の高度な除雪ネットワークと一般的な汎用画像復元トランスフォーマーよりも優れています。コードは https://github.com/Ephemeral182/SnowFormer で公開されています。
Due to various and complicated snow degradations, single image desnowing is a challenging image restoration task. As prior arts can not handle it ideally, we propose a novel transformer, SnowFormer, which explores efficient cross-attentions to build local-global context interaction across patches and surpasses existing works that employ local operators or vanilla transformers. Compared to prior desnowing methods and universal image restoration methods, SnowFormer has several benefits. Firstly, unlike the multi-head self-attention in recent image restoration Vision Transformers, SnowFormer incorporates the multi-head cross-attention mechanism to perform local-global context interaction between scale-aware snow queries and local-patch embeddings. Second, the snow queries in SnowFormer are generated by the query generator from aggregated scale-aware features, which are rich in potential clean cues, leading to superior restoration results. Third, SnowFormer outshines advanced state-of-the-art desnowing networks and the prevalent universal image restoration transformers on six synthetic and real-world datasets. The code is released in https://github.com/Ephemeral182/SnowFormer.
updated: Sun Nov 13 2022 07:47:45 GMT+0000 (UTC)
published: Sat Aug 20 2022 15:01:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト