グレースケール画像の自動色付けは、不適切なマルチモーダル問題です。フルリファレンス画像が存在する場合、客観的なパフォーマンス測定は、MSEやPSNRなどのピクセル差技術に依存します。これらの措置は、基準グラウンドトゥルース以外のもっともらしいモードにペナルティを課します。それらがグラウンドトゥルースにピクセル距離で近い場合、それらはしばしば信じがたいモードに適切にペナルティを課すことができません。これらはピクセル差分法であるため、空間コヒーレンシを評価することはできません。 CIEL * a * b *色空間からのa * b *チャネルの極形式を使用して、色相チャネルに限定するマルチモーダル問題と、彩度チャネルに適用されるコモンモードを分離します。彩度チャネルにSSIMを適用しますが、色相チャネルのSSIMを、空間色相類似性測定(SHSM)と呼ばれる測定に再定式化します。この再定式化により、空間的にコヒーレントな色相チャネルは、空間的にインコヒーレントなモードにペナルティを課しながら、高いスコアを達成できます。この方法により、SOTA着色方法の定性的および定量的な性能比較が可能になり、主観的な人間の目視検査への依存が軽減されます。
Automatic colourisation of grey-scale images is an ill-posed multi-modal problem. Where full-reference images exist, objective performance measures rely on pixel-difference techniques such as MSE and PSNR. These measures penalise any plausible modes other than the reference ground-truth; They often fail to adequately penalise implausible modes if they are close in pixel distance to the ground-truth; As these are pixel-difference methods they cannot assess spatial coherency. We use the polar form of the a*b* channels from the CIEL*a*b* colour space to separate the multi-modal problems, which we confine to the hue channel, and the common-mode which applies to the chroma channel. We apply SSIM to the chroma channel but reformulate SSIM for the hue channel to a measure we call the Spatial Hue Similarity Measure (SHSM). This reformulation allows spatially-coherent hue channels to achieve a high score while penalising spatially-incoherent modes. This method allows qualitative and quantitative performance comparison of SOTA colourisation methods and reduces reliance on subjective human visual inspection.