畳み込みニューラル ネットワーク (CNN) は画像の復元において大きな進歩を遂げましたが、畳み込みの本質的な等価性と局所性が依然として画質のさらなる向上を妨げています。最近のビジョン トランスフォーマーと自己注意は、さまざまなコンピューター ビジョン タスクで有望な結果を達成しています。ただし、画像の復元に Transformer を直接利用するのは困難な作業です。このホワイト ペーパーでは、砂のイメージの復元タスクに効果的なハイブリッド アーキテクチャを紹介します。これは、CNN からのローカル機能と、Transformer によってキャプチャされた長期依存関係を活用して、結果をさらに改善します。 Transformer と CNN の間の機能の不一致の問題を解決するために、砂塵画像復元のための効率的なハイブリッド構造を提案します。このフレームワークは、単純に機能を追加または連結するのではなく、CNN ベースおよび Transformer ベースのブランチから機能を調整することにより、各表現を補完します。実験では、SandFormer が以前の砂の画像の復元方法と比較して、合成および実際のほこりのシーンで大幅なパフォーマンスの向上を達成することが実証されています。
Although Convolutional Neural Networks (CNN) have made good progress in image restoration, the intrinsic equivalence and locality of convolutions still constrain further improvements in image quality. Recent vision transformer and self-attention have achieved promising results on various computer vision tasks. However, directly utilizing Transformer for image restoration is a challenging task. In this paper, we introduce an effective hybrid architecture for sand image restoration tasks, which leverages local features from CNN and long-range dependencies captured by transformer to improve the results further. We propose an efficient hybrid structure for sand dust image restoration to solve the feature inconsistency issue between Transformer and CNN. The framework complements each representation by modulating features from the CNN-based and Transformer-based branches rather than simply adding or concatenating features. Experiments demonstrate that SandFormer achieves significant performance improvements in synthetic and real dust scenes compared to previous sand image restoration methods.