Non-Local Attention(NLA)は、自然画像の固有の特徴相関を活用することにより、単一画像超解像(SISR)に大幅な改善をもたらします。ただし、NLAはノイズの多い情報に大きな重みを与え、入力サイズに関して2次計算リソースを消費するため、パフォーマンスとアプリケーションが制限されます。この論文では、長距離の視覚的モデリングを実行し、より関連性の高い非局所的特徴を活用するための、新しい効率的な非局所的対照的注意(ENLCA)を提案します。具体的には、ENLCAは、Efficient Non-Local Attention(ENLA)とSparseAggregationの2つの部分で構成されています。 ENLAは、カーネル法を採用して指数関数を近似し、線形計算の複雑さを取得します。スパースアグリゲーションの場合、入力に増幅率を掛けて有益な機能に焦点を合わせますが、近似の分散は指数関数的に増加します。したがって、対照学習は、関連する機能と関連しない機能をさらに分離するために適用されます。 ENLCAの有効性を実証するために、単純なバックボーンにいくつかのモジュールを追加することにより、Efficient Non-Local Contrastive Network(ENLCN)と呼ばれるアーキテクチャを構築します。広範な実験結果は、ENLCNが定量的評価と定性的評価の両方で最先端のアプローチよりも優れたパフォーマンスを達成することを示しています。
Non-Local Attention (NLA) brings significant improvement for Single Image Super-Resolution (SISR) by leveraging intrinsic feature correlation in natural images. However, NLA gives noisy information large weights and consumes quadratic computation resources with respect to the input size, limiting its performance and application. In this paper, we propose a novel Efficient Non-Local Contrastive Attention (ENLCA) to perform long-range visual modeling and leverage more relevant non-local features. Specifically, ENLCA consists of two parts, Efficient Non-Local Attention (ENLA) and Sparse Aggregation. ENLA adopts the kernel method to approximate exponential function and obtains linear computation complexity. For Sparse Aggregation, we multiply inputs by an amplification factor to focus on informative features, yet the variance of approximation increases exponentially. Therefore, contrastive learning is applied to further separate relevant and irrelevant features. To demonstrate the effectiveness of ENLCA, we build an architecture called Efficient Non-Local Contrastive Network (ENLCN) by adding a few of our modules in a simple backbone. Extensive experimental results show that ENLCN reaches superior performance over state-of-the-art approaches on both quantitative and qualitative evaluations.