arXiv reaDer
軽量画像超解像のためのオムニ アグリゲーション ネットワーク
Omni Aggregation Networks for Lightweight Image Super-Resolution
軽量の ViT フレームワークは、画像の超解像において大きな進歩を遂げましたが、その 1 次元の自己注意モデリングと均一な集約スキームにより、有効受容野 (ERF) が制限され、空間次元とチャネル次元の両方からのより包括的な相互作用が含まれるようになります。これらの欠点に対処するために、この作業では、新しい Omni-SR アーキテクチャの下で 2 つの強化されたコンポーネントを提案します。まず、オムニ セルフアテンション (OSA) ブロックは、密な相互作用の原理に基づいて提案されます。これは、空間次元とチャネル次元の両方からピクセル相互作用を同時にモデル化し、オムニ軸 (つまり、空間とチャネル) にわたる潜在的な相関をマイニングできます。主流のウィンドウ分割戦略と組み合わせることで、OSA は魅力的な計算予算で優れたパフォーマンスを実現できます。第二に、浅いモデルで最適以下のERF(すなわち、早期飽和)を軽減するために、マルチスケールの相互作用スキームが提案されています。広範な実験により、Omni-SR が軽量の超解像ベンチマークで記録的な高性能を達成することが実証されています (例: 792K パラメータのみで 26.95 dB@Urban100 ×4)。コードは https://github.com/Francis0625/Omni-SR で入手できます。
While lightweight ViT framework has made tremendous progress in image super-resolution, its uni-dimensional self-attention modeling, as well as homogeneous aggregation scheme, limit its effective receptive field (ERF) to include more comprehensive interactions from both spatial and channel dimensions. To tackle these drawbacks, this work proposes two enhanced components under a new Omni-SR architecture. First, an Omni Self-Attention (OSA) block is proposed based on dense interaction principle, which can simultaneously model pixel-interaction from both spatial and channel dimensions, mining the potential correlations across omni-axis (i.e., spatial and channel). Coupling with mainstream window partitioning strategies, OSA can achieve superior performance with compelling computational budgets. Second, a multi-scale interaction scheme is proposed to mitigate sub-optimal ERF (i.e., premature saturation) in shallow models, which facilitates local propagation and meso-/global-scale interactions, rendering an omni-scale aggregation building block. Extensive experiments demonstrate that Omni-SR achieves record-high performance on lightweight super-resolution benchmarks (e.g., 26.95 dB@Urban100 ×4 with only 792K parameters). Our code is available at https://github.com/Francis0625/Omni-SR.
updated: Mon Apr 24 2023 09:03:56 GMT+0000 (UTC)
published: Thu Apr 20 2023 12:05:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト