arXiv reaDer
4Kコンテンツのブラインドビジュアル品質評価のためのディープニューラルネットワーク
Deep Neural Network for Blind Visual Quality Assessment of 4K Content
4Kコンテンツは、空間解像度が大幅に向上するため、より没入感のある視覚体験を消費者に提供できます。ただし、既存のブラインド画質評価(BIQA)方式は、解像度が拡張され、特定の歪みが発生するため、元の4Kコンテンツおよびアップスケールされた4Kコンテンツには適していません。この論文では、4Kコンテンツの深層学習ベースのBIQAモデルを提案します。これは、一方では真の4Kコンテンツと疑似の4Kコンテンツを認識でき、他方ではそれらの知覚視覚品質を評価できます。高い空間解像度がより豊富な高周波情報を表すことができるという特性を考慮して、最初に、4K画像から3つの代表的な画像パッチを選択するためのグレイレベル共起行列(GLCM)ベースのテクスチャ複雑度測定を提案します。複雑であり、実験による全体的な品質予測に非常に効果的であることが証明されています。次に、畳み込みニューラルネットワーク(CNN)の中間層からさまざまな種類の視覚的特徴を抽出し、それらを品質を意識した特徴表現に統合します。最後に、2つの多層知覚(MLP)ネットワークを使用して、品質認識機能を各パッチのクラス確率と品質スコアにそれぞれマッピングします。全体的な品質指標は、パッチ結果の平均プーリングを通じて取得されます。提案されたモデルは、マルチタスク学習方法を通じてトレーニングされ、分類タスクと回帰タスクの損失のバランスをとるために不確定性原理を導入します。実験結果は、提案されたモデルが、4つの4Kコンテンツ品質評価データベースで比較されたすべてのBIQAメトリックよりも優れていることを示しています。
The 4K content can deliver a more immersive visual experience to consumers due to the huge improvement of spatial resolution. However, existing blind image quality assessment (BIQA) methods are not suitable for the original and upscaled 4K contents due to the expanded resolution and specific distortions. In this paper, we propose a deep learning-based BIQA model for 4K content, which on one hand can recognize true and pseudo 4K content and on the other hand can evaluate their perceptual visual quality. Considering the characteristic that high spatial resolution can represent more abundant high-frequency information, we first propose a Grey-level Co-occurrence Matrix (GLCM) based texture complexity measure to select three representative image patches from a 4K image, which can reduce the computational complexity and is proven to be very effective for the overall quality prediction through experiments. Then we extract different kinds of visual features from the intermediate layers of the convolutional neural network (CNN) and integrate them into the quality-aware feature representation. Finally, two multilayer perception (MLP) networks are utilized to map the quality-aware features into the class probability and the quality score for each patch respectively. The overall quality index is obtained through the average pooling of patch results. The proposed model is trained through the multi-task learning manner and we introduce an uncertainty principle to balance the losses of the classification and regression tasks. The experimental results show that the proposed model outperforms all compared BIQA metrics on four 4K content quality assessment databases.
updated: Thu Jun 09 2022 09:10:54 GMT+0000 (UTC)
published: Thu Jun 09 2022 09:10:54 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト