arXiv reaDer
Multi-grained Attention Networks for Single Image Super-Resolution
  ディープコンボリューショナルニューラルネットワーク(CNN)は、画像の超解像(SR)で大きな注目を集めています。最近、機能の重要性とコンテキストキューの両方を活用する視覚的注意メカニズムが画像SRに導入され、CNNベースのSRパフォーマンスの改善に効果的であることが証明されました。このホワイトペーパーでは、SRモデルのアテンションメカニズムについて徹底的な調査を行い、これらのアイデアのシンプルかつ効果的な改善がどのように最新技術を改善するかについて明らかにします。 SRタスクのマルチスケールおよびアテンションメカニズムの利点を完全に活用する「マルチグレインアテンションネットワーク(MGAN)」と呼ばれる統合アプローチをさらに提案します。私たちの方法では、各ニューロンの重要度は、その周囲の領域に応じてマルチグレイン方式で計算され、特徴応答を適応的に再スケーリングするために使用されます。さらに重要なことは、以前の方法での「チャンネルアテンション」および「空間アテンション」戦略は、本質的に私たちのメソッドの2つの特別なケースと考えることができます。また、マルチスケールの密な接続を導入して、複数のスケールで画像の特徴を抽出し、密なスキップ接続を通じて異なるレイヤーの特徴をキャプチャします。ベンチマークデータセットのアブレーション研究は、この方法の有効性を示しています。他の最先端のSR手法と比較して、我々の手法は精度とモデルサイズの両方の面で優位性を示しています。
Deep Convolutional Neural Networks (CNN) have drawn great attention in image super-resolution (SR). Recently, visual attention mechanism, which exploits both of the feature importance and contextual cues, has been introduced to image SR and proves to be effective to improve CNN-based SR performance. In this paper, we make a thorough investigation on the attention mechanisms in a SR model and shed light on how simple and effective improvements on these ideas improve the state-of-the-arts. We further propose a unified approach called "multi-grained attention networks (MGAN)" which fully exploits the advantages of multi-scale and attention mechanisms in SR tasks. In our method, the importance of each neuron is computed according to its surrounding regions in a multi-grained fashion and then is used to adaptively re-scale the feature responses. More importantly, the "channel attention" and "spatial attention" strategies in previous methods can be essentially considered as two special cases of our method. We also introduce multi-scale dense connections to extract the image features at multiple scales and capture the features of different layers through dense skip connections. Ablation studies on benchmark datasets demonstrate the effectiveness of our method. In comparison with other state-of-the-art SR methods, our method shows the superiority in terms of both accuracy and model size.
updated: Sun Sep 29 2019 09:09:30 GMT+0000 (UTC)
published: Thu Sep 26 2019 06:54:00 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト