見本ベースの画像の色付けは、カラー参照画像に基づいてターゲットのグレースケール画像を色付けすることを目的としています。重要なのは、これら 2 つの画像間で正確なピクセル レベルのセマンティック対応を確立することです。従来の方法では、参照イメージ全体で一致を検索しますが、このタイプのグローバル マッチングでは不一致が発生しやすくなります。 (1) 参照画像がターゲット画像に関連するオブジェクトの一部のみを含む場合、関連のない領域で不適切な対応が確立されます。 (2) オブジェクトの形状やテクスチャが混同されやすい領域では、不一致が発生しやすくなります。これらの問題を克服するために、セマンティック事前誘導手本ベースの画像色付けフレームワークである SPColor を提案します。以前の方法とは異なり、SPColor はまず、セマンティック プライアのガイダンスの下で参照イメージとターゲット イメージのピクセルをいくつかの疑似クラスに大まかに分類します。次に、新しく設計されたセマンティック プライア ガイド付き対応を介して、同じクラス内のピクセル間でローカルにのみ対応が確立されます。通信網。このようにして、異なるセマンティック クラス間の不適切な対応が明示的に排除され、ミスマッチが明らかに軽減されます。さらに、参照から色をより適切に確保するために、類似性をマスクした知覚的損失が設計されています。慎重に設計された SPColor は、教師なしセグメンテーション モデルによって提供されるセマンティック プライアを利用することに注意してください。これは、追加の手動セマンティック アノテーションに対して自由です。実験は、私たちのモデルが最近の最先端の方法よりも、公開データセットで量的および質的に優れていることを示しています。
Exemplar-based image colorization aims to colorize a target grayscale image based on a color reference image, and the key is to establish accurate pixel-level semantic correspondence between these two images. Previous methods search for correspondence across the entire reference image, and this type of global matching is easy to get mismatch. We summarize the difficulties in two aspects: (1) When the reference image only contains a part of objects related to target image, improper correspondence will be established in unrelated regions. (2) It is prone to get mismatch in regions where the shape or texture of the object is easily confused. To overcome these issues, we propose SPColor, a semantic prior guided exemplar-based image colorization framework. Different from previous methods, SPColor first coarsely classifies pixels of the reference and target images to several pseudo-classes under the guidance of semantic prior, then the correspondences are only established locally between the pixels in the same class via the newly designed semantic prior guided correspondence network. In this way, improper correspondence between different semantic classes is explicitly excluded, and the mismatch is obviously alleviated. Besides, to better reserve the color from reference, a similarity masked perceptual loss is designed. Noting that the carefully designed SPColor utilizes the semantic prior provided by an unsupervised segmentation model, which is free for additional manual semantic annotations. Experiments demonstrate that our model outperforms recent state-of-the-art methods both quantitatively and qualitatively on public dataset.