視覚(画像、ビデオ)品質評価は、空間、周波数、時間ドメインなど、さまざまなドメインの視覚的特徴によってモデル化できます。人間の視覚系(HVS)の知覚メカニズムは、質の高い知覚の生成に重要な役割を果たします。この論文は、効率的なウィンドウ化されたトランスアーキテクチャを使用した、参照なしの視覚的品質評価のための一般的なフレームワークを提案します。多段チャンネルアテンション用の軽量モジュールがSwin(シフトウィンドウ)トランスフォーマーに統合されています。このようなモジュールは、正確なIQAモデルを構築するために、画質評価(IQA)の適切な知覚メカニズムを表すことができます。一方、空間および周波数領域での画質認識の代表的な機能は、IQAモデルから導出することもできます。このモデルは、ビデオ品質評価(VQA)用の別のウィンドウ化されたトランスアーキテクチャに供給されます。 VQAモデルは、ローカルウィンドウ全体で注意情報を効率的に再利用して、元のトランスフォーマーの高価な時間とメモリの複雑さの問題に取り組みます。大規模なIQAデータベースとVQAデータベースの両方での実験結果は、提案された品質評価モデルが他の最先端モデルよりも大幅に優れていることを示しています。完全なソースコードはGithubで公開されます。
Visual (image, video) quality assessments can be modelled by visual features in different domains, e.g., spatial, frequency, and temporal domains. Perceptual mechanisms in the human visual system (HVS) play a crucial role in generation of quality perception. This paper proposes a general framework for no-reference visual quality assessment using efficient windowed transformer architectures. A lightweight module for multi-stage channel attention is integrated into Swin (shifted window) Transformer. Such module can represent appropriate perceptual mechanisms in image quality assessment (IQA) to build an accurate IQA model. Meanwhile, representative features for image quality perception in the spatial and frequency domains can also be derived from the IQA model, which are then fed into another windowed transformer architecture for video quality assessment (VQA). The VQA model efficiently reuses attention information across local windows to tackle the issue of expensive time and memory complexities of original transformer. Experimental results on both large-scale IQA and VQA databases demonstrate that the proposed quality assessment models outperform other state-of-the-art models by large margins. The complete source code will be published on Github.