arXiv reaDer
SnowFormer: 単一画像除雪のためのコンテキスト相互作用によるスケール対応トランスフォーマー
SnowFormer: Scale-aware Transformer via Context Interaction for Single Image Desnowing
単一画像の除雪は、一般的でありながら困難な作業です。複雑な雪の劣化と多様な劣化スケールは、強力な表現力を必要とします。除雪ネットワークがさまざまな雪の劣化を確認し、ローカルの詳細とグローバルな情報のコンテキストの相互作用をモデル化するために、SnowFormer と呼ばれる強力なアーキテクチャを提案します。まず、エンコーダーでスケール対応特徴集約を実行して、さまざまな劣化に関する豊富な雪情報を取得します。次に、大規模な劣化に対処するために、デコーダーで新しい Context Interaction Transformer ブロックを使用します。これは、グローバル コンテキスト インタラクションで以前のスケール対応機能集約からのローカル詳細とグローバル情報のコンテキスト インタラクションを実行します。また、ローカル コンテキスト インタラクションの導入により、シーンの詳細の復元が改善されます。第三に、エンコーダとデコーダの両方からの特徴を徐々に融合し、洗練された特徴をきれいな画像に投影する異種特徴投影ヘッドを考案します。広範な実験により、提案された SnowFormer が他の SOTA メソッドよりも大幅な改善を達成することが実証されています。 SOTA 単一画像除雪法 HDCW-Net と比較すると、CSD テストセットで PSNR メトリックが 9.2dB 向上します。さらに、一般的な画像復元アーキテクチャ NAFNet と比較して PSNR で 5.13dB の増加を達成し、除雪タスクに対する SnowFormer の強力な表現能力を検証します。コードは https://github.com/Ephemeral182/SnowFormer で公開されています。
Single image desnowing is a common yet challenging task. The complex snow degradations and diverse degradation scales demand strong representation ability. In order for the desnowing network to see various snow degradations and model the context interaction of local details and global information, we propose a powerful architecture dubbed as SnowFormer. First, it performs Scale-aware Feature Aggregation in the encoder to capture rich snow information of various degradations. Second, in order to tackle with large-scale degradation, it uses a novel Context Interaction Transformer Block in the decoder, which conducts context interaction of local details and global information from previous scale-aware feature aggregation in global context interaction. And the introduction of local context interaction improves recovery of scene details. Third, we devise a Heterogeneous Feature Projection Head which progressively fuse features from both the encoder and decoder and project the refined feature into the clean image. Extensive experiments demonstrate that the proposed SnowFormer achieves significant improvements over other SOTA methods. Compared with SOTA single image desnowing method HDCW-Net, it boosts the PSNR metric by 9.2dB on the CSD testset. Moreover, it also achieves a 5.13dB increase in PSNR compared with general image restoration architecture NAFNet, which verifies the strong representation ability of our SnowFormer for snow removal task. The code is released in https://github.com/Ephemeral182/SnowFormer.
updated: Tue Aug 23 2022 06:16:19 GMT+0000 (UTC)
published: Sat Aug 20 2022 15:01:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト