近年、深層学習による画像生成への関心が高まっています。生成された画像の評価の重要な部分は通常、目視検査を含みますが、トレーニングプロセスの要素として人間の知覚を含めることは見過ごされがちです。この論文では、条件付き生成的敵対的ネットワーク(cGAN)を使用した画像から画像への変換のための代替知覚レギュラライザーを提案します。これを自動的に行うには(目視検査を回避)、正規化されたラプラシアンピラミッド距離(NLPD)を使用して、生成された画像と元の画像の間の知覚的類似性を測定します。 NLPDは、さまざまなスケールでの平均エネルギーの局所推定値に関して係数の値を正規化するという原則に基づいており、人間の知覚を含むさまざまな実験ですでに正常にテストされています。このレギュラライザーを最初に提案されたL1距離と比較し、NLPDを使用すると、生成された画像にローカルコントラストとグローバルコントラストの両方のより現実的な値が含まれることに注意してください。 NLPDをレギュラライザーとして使用すると、生成された画像の画像セグメンテーションの精度が向上するだけでなく、2つの非参照画像品質メトリックも向上することがわかりました。
In recent years there has been a growing interest in image generation through deep learning. While an important part of the evaluation of the generated images usually involves visual inspection, the inclusion of human perception as a factor in the training process is often overlooked. In this paper we propose an alternative perceptual regulariser for image-to-image translation using conditional generative adversarial networks (cGANs). To do so automatically (avoiding visual inspection), we use the Normalised Laplacian Pyramid Distance (NLPD) to measure the perceptual similarity between the generated image and the original image. The NLPD is based on the principle of normalising the value of coefficients with respect to a local estimate of mean energy at different scales and has already been successfully tested in different experiments involving human perception. We compare this regulariser with the originally proposed L1 distance and note that when using NLPD the generated images contain more realistic values for both local and global contrast. We found that using NLPD as a regulariser improves image segmentation accuracy on generated images as well as improving two no-reference image quality metrics.