arXiv reaDer
フルリファレンス画像品質予測のための新しい丁度可知差異ベースの顕著性チャネル注意残余ネットワーク
A Novel Just-Noticeable-Difference-based Saliency-Channel Attention Residual Network for Full-Reference Image Quality Predictions
最近、深い畳み込みニューラルネットワーク(CNN)の強度により、多くのCNNベースの画質評価(IQA)モデルが研究されています。ただし、以前のCNNベースのIQAモデルは、トレーニングデータセットから学習することを期待して、すべてをCNNに委託するだけでは、IQA問題に対して人間の視覚系(HVS)の特性を十分に活用していない可能性があります。ただし、この論文では、完全参照画質評価(FR-IQA)の丁度可知差異(JND)の概念に基づいて、新しい顕著性チャネル注意残余ネットワークを提案します。これはJND-SalCARと呼ばれ、さまざまなタイプの歪みを伴う大規模なIQAデータセットで大幅な改善を示しています。提案されたJND-SalCARは、視覚的顕著性やJNDなどの人間の精神物理学的特性を画質予測に組み込む方法を効果的に学習します。提案されたネットワークでは、SalCARブロックが考案されているため、顕著性ベースの空間的注意とチャネル注意スキームの助けを借りて、知覚的に重要な特徴を抽出できます。さらに、顕著性マップは、JND-SalCARのエンドツーエンド最適化の安定したトレーニングを提供するために、パッチの重みマップを予測するためのガイドラインとして機能します。私たちの知る限り、私たちの仕事は、視覚的な顕著性とHVSのJND特性の両方を考慮した最初のHVSに触発されたトレーニング可能なFR-IQAネットワークを提示します。視覚的顕著性マップとJND確率マップが事前確率として明示的に指定されている場合、これらを組み合わせて、人間が評価したIQAスコアをより正確に予測し、最終的にパフォーマンスの向上と収束の高速化を実現できます。実験結果は、提案されたJND-SalCARが、スピアマンの順位係数(SRCC)とピアソンの線形相関係数(PLCC)の点で、大規模なIQAデータセットに対する最近のすべての最先端のFR-IQA法を大幅に上回っていることを示しています。
Recently, due to the strength of deep convolutional neural networks (CNN), many CNN-based image quality assessment (IQA) models have been studied. However, previous CNN-based IQA models likely have yet to utilize the characteristics of the human visual system (HVS) fully for IQA problems when they simply entrust everything to the CNN, expecting it to learn from a training dataset. However, in this paper, we propose a novel saliency-channel attention residual network based on the just-noticeable-difference (JND) concept for full-reference image quality assessments (FR-IQA). It is referred to as JND-SalCAR and shows significant improvements in large IQA datasets with various types of distortion. The proposed JND-SalCAR effectively learns how to incorporate human psychophysical characteristics, such as visual saliency and JND, into image quality predictions. In the proposed network, a SalCAR block is devised so that perceptually important features can be extracted with the help of saliency-based spatial attention and channel attention schemes. In addition, a saliency map serves as a guideline for predicting a patch weight map in order to afford stable training of end-to-end optimization for the JND-SalCAR. To the best of our knowledge, our work presents the first HVS-inspired trainable FR-IQA network that considers both visual saliency and the JND characteristics of the HVS. When the visual saliency map and the JND probability map are explicitly given as priors, they can be usefully combined to predict IQA scores rated by humans more precisely, eventually leading to performance improvements and faster convergence. The experimental results show that the proposed JND-SalCAR significantly outperforms all recent state-of-the-art FR-IQA methods on large IQA datasets in terms of the Spearman rank order coefficient (SRCC) and the Pearson linear correlation coefficient (PLCC).
updated: Fri Oct 16 2020 06:34:33 GMT+0000 (UTC)
published: Thu Feb 14 2019 11:50:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト