純粋な参照情報なしで画質を正確に予測することを目的としたブラインド画質評価(BIQA)は、過去数十年にわたって非常に懸念されてきました。特に、深いニューラルネットワークの助けを借りて、これまでのところ大きな進歩が達成されています。ただし、通常、視認性の低下、低コントラスト、付加的なノイズ、色の歪みなどの複雑な本物の歪みに悩まされている夜間画像(NTI)のBIQAについてはあまり調査されていません。これらの多様な本物の劣化は、ブラインドNTI品質評価(NTIQE)のための効果的なディープニューラルネットワークの設計に特に挑戦します。この論文では、この問題によりよく対処するために、新しい深層分解および双線形プーリングネットワーク(DDB-Net)を提案します。 DDB-Netには、画像分解モジュール、特徴符号化モジュール、双線形プーリングモジュールの3つのモジュールが含まれています。画像分解モジュールは、Retinex理論に着想を得ており、入力NTIを、照明情報を担当する照明レイヤーコンポーネントと、コンテンツ情報を担当する反射率レイヤーコンポーネントに分離します。次に、特徴エンコーディングモジュールは、2つの分離されたコンポーネントに別々に根ざした劣化のマルチスケール特徴表現を学習することを含みます。最後に、照明関連およびコンテンツ関連の劣化を2因子の変動としてモデル化することにより、2つのマルチスケール機能セットが双線形にプールおよび連結されて、品質予測のための統一された表現を形成します。提案されたDDB-Netの優位性は、2つの公的に利用可能な夜間画像データベースでの広範な実験によって十分に検証されています。
Blind image quality assessment (BIQA), which aims to accurately predict the image quality without any pristine reference information, has been highly concerned in the past decades. Especially, with the help of deep neural networks, great progress has been achieved so far. However, it remains less investigated on BIQA for night-time images (NTIs) which usually suffer from complicated authentic distortions such as reduced visibility, low contrast, additive noises, and color distortions. These diverse authentic degradations particularly challenges the design of effective deep neural network for blind NTI quality evaluation (NTIQE). In this paper, we propose a novel deep decomposition and bilinear pooling network (DDB-Net) to better address this issue. The DDB-Net contains three modules, i.e., an image decomposition module, a feature encoding module, and a bilinear pooling module. The image decomposition module is inspired by the Retinex theory and involves decoupling the input NTI into an illumination layer component responsible for illumination information and a reflectance layer component responsible for content information. Then, the feature encoding module involves learning multi-scale feature representations of degradations that are rooted in the two decoupled components separately. Finally, by modeling illumination-related and content-related degradations as two-factor variations, the two multi-scale feature sets are bilinearly pooled and concatenated together to form a unified representation for quality prediction. The superiority of the proposed DDB-Net is well validated by extensive experiments on two publicly available night-time image databases.